[論文レビュー] Nonnegative Matrix Factorization in Dimensionality Reduction: A Survey

Farid Saberi-Movahed, Kamal Berahman+3 more|arXiv (Cornell University)|May 6, 2024

Face and Expression Recognition被引用数 7

ひとこと要約

この調査は次元削減アプローチを分類し、特徴抽出と特徴選択の両方のNMF変種をレビューし、傾向と今後の方向性を概説します。

ABSTRACT

Dimensionality Reduction plays a pivotal role in improving feature learning accuracy and reducing training time by eliminating redundant features, noise, and irrelevant data. Nonnegative Matrix Factorization (NMF) has emerged as a popular and powerful method for dimensionality reduction. Despite its extensive use, there remains a need for a comprehensive analysis of NMF in the context of dimensionality reduction. To address this gap, this paper presents a comprehensive survey of NMF, focusing on its applications in both feature extraction and feature selection. We introduce a classification of dimensionality reduction, enhancing understanding of the underlying concepts. Subsequently, we delve into a thorough summary of diverse NMF approaches used for feature extraction and selection. Furthermore, we discuss the latest research trends and potential future directions of NMF in dimensionality reduction, aiming to highlight areas that need further exploration and development.

研究の動機と目的

• NMFの役割に焦点を当てつつ、次元削減を特徴抽出と特徴選択に分類する。
• 特徴抽出におけるNMF変種とその適用を要約する。
• 特徴選択におけるNMF変種とその適用を要約する。
• 現状の傾向を議論し、次元削減におけるNMFの今後の研究方向を提案する。

提案手法

• 共通の目的関数としてβ発散とフロベニウスノルムを用いたNMFの損失フレームワークを説明する。
• SNMF、ONMF、NMTF、PNMF、Discriminative NMFを含むNMFの変種をレビューする。
• 特徴抽出NMFを変種、正規化、一般化、頑健のカテゴリに整理する。
• 特徴選択NMFを標準、凸、グラフベース、デュアルグラフベース、スパース性、直交性の視点から整理する。
• MUR、ANLS、HALS、ADMMなどNMFの最適化アプローチを議論する。

Figure 1. Categorizing dimensionality reduction techniques: a clear division into feature extraction and feature selection approaches

実験結果

リサーチクエスチョン

• RQ1 NMFとは何か、次元削減においてどのように機能するのか？
• RQ2 NMFのさまざまな変種とそれらの次元削減への適用は何か？
• RQ3 他の次元削減手法と比べたNMFの利点と制限は何か？
• RQ4 次元削減におけるNMFの今後の方向性は何か？

主な発見

• NMFは非負データに適した部品ベースの解釈可能な表現を提供する。
• 特徴抽出のNMF変種は4つのグループ（変種、正規化、一般化、頑健）に分類できる。
• 特徴選択のNMFは標準、凸、グラフベース、直交性制約を含む複数の視点から分析できる。
• 本調査ではNMFに特化した複数の最適化法を取り扱い、それらの適用性と収束上の考慮事項を強調する。
• SNMF、ONMF、Bi-orthogonal変種はグラフ構造データにおいてクラスタリングと解釈性の利点を提供する。
• 本論文は次元削減におけるNMFを進化させるための傾向と今後の方向性を特定している。

Figure 2. Classifying current NMF approaches for feature extraction into four groups: Variants of NMF, Regularized NMF, Generalized NMF, and Robust NMF.