[論文レビュー] A Review of Nonnegative Matrix Factorization Methods for Clustering

Ali Caner Türkmen|arXiv (Cornell University)|Jul 12, 2015

Face and Expression Recognition被引用数 13

ひとこと要約

この論文は、クラスタリングのための非負値行列分解（NMF）手法をレビューし、NMFとk-meansクラスタリングの間の理論的リンクを確立する。スパースNMF、プロジェクティブNMF、非負値スペクトルクラスタリング、クラスターニムF（Cluster-NMF）などの変種を提示し、それらの行列分解フレームワークが解釈可能で部分ベースのクラスタリングを可能にし、クラスタ分離性とスパarsityを向上させることを示している。

ABSTRACT

Nonnegative Matrix Factorization (NMF) was first introduced as a low-rank matrix approximation technique, and has enjoyed a wide area of applications. Although NMF does not seem related to the clustering problem at first, it was shown that they are closely linked. In this report, we provide a gentle introduction to clustering and NMF before reviewing the theoretical relationship between them. We then explore several NMF variants, namely Sparse NMF, Projective NMF, Nonnegative Spectral Clustering and Cluster-NMF, along with their clustering interpretations.

研究の動機と目的

• 非負値行列分解（NMF）とクラスタリング、特にk-meansの間の理論的関係を確立すること。
• クラスタリング応用に特化した主要なNMF変種を導入し、分析すること。
• 直感的な解釈と数学的基盤を備えた、NMFに基づくクラスタリング手法の包括的概要を提供すること。
• スパarsityと直交性がクラスタの解釈可能性とパフォーマンスを向上させる役割を強調すること。
• 教師なし学習における伝統的なクラスタリングアルゴリズムの代替手段として、NMFを強固で解釈可能な手法として位置づけること。

提案手法

• データ行列 X ≈ WH で表される行列分解問題としてクラスタリングを定式化し、W, H ≥ 0 を満たす。
• 非負性制約の下で、標準的なk-meansの目的関数がNMF最適化問題と数学的に同等であることを示す。
• 因子行列 W の行方向スパarsityを促進するために ℓ1 正則化を追加することで、スパースNMFを導入する。
• H を置換行列に制約することでプロジェクティブNMFを提案し、各データポイントが正確に1つのクラスタに属することを保証する。
• カーネル行列から非負の類似度行列を構築し、それをNMFで因子分解することで非負値スペクトルクラスタリングを適用する。
• W における直交性を強制することでクラスタ分離性を向上させ、クラスタ間の重なりを低減するクラスターニムF（Cluster-NMF）を提示する。

実験結果

リサーチクエスチョン

• RQ1 非負値行列分解（NMF）はどのようにしてk-meansクラスタリングと理論的に関連しているか？
• RQ2 クラスタリング性能と解釈可能性を向上させる主要なNMF変種は何か？
• RQ3 因子行列のスパarsityはどのようにクラスタ割り当てと解釈可能性を改善するか？
• RQ4 プロジェクティブNMFとクラスターニムF（Cluster-NMF）は、行列構造を通じてどのようにハードクラスタリング制約を強制するか？
• RQ5 非負値スペクトルクラスタリングは、NMFをどのように活用して非負制約付きのスペクトルクラスタリングに類似した結果を達成するか？

主な発見

• 標準的なk-meansクラスタリングの目的関数は、非負性制約の下でNMF最適化問題と数学的に同等である。
• スパースNMFは、基底行列 W の行方向スパarsityを強制することでクラスタの解釈可能性を向上させ、明確なクラスタ割り当てをもたらす。
• プロジェクティブNMFは、H を置換行列に制約することでハードクラスタリングを達成し、各データポイントが正確に1つのクラスタに属することを保証する。
• クラスターニムF（Cluster-NMF）は、基底行列 W における直交性を強制することでクラスタ分離性を向上させ、クラスタ間の重なりを低減する。
• 非負値スペクトルクラスタリングは、カーネル行列から導出された非負の類似度行列をNMFで因子分解することで、スペクトルクラスタリングに類似した結果を達成する。
• レビューされたすべてのNMFベースのクラスタリング手法は、行列分解と非負性に根ざした共通の理論的基盤を共有しており、強固で解釈可能なクラスタリングを可能にする。