[論文レビュー] Nonnegative Matrix Factorization with Local Similarity Learning

Chong Peng, Zhao Kang+2 more|arXiv (Cornell University)|Jul 9, 2019

Face and Expression Recognition参考文献 45被引用数 6

ひとこと要約

本稿では、局所的な幾何構造とデータ類似性を同時に学習することでクラスタリング性能を向上させる、局所的類似性に配慮した非負値行列分解（KLS-NMF）を提案する。局所的類似性学習と直交制約、非線形カーネル拡張を統合することにより、収束保証付きの改善された表現学習が達成され、ベンチマークデータセットにおいて優れた実験的結果を示す。

ABSTRACT

Existing nonnegative matrix factorization methods focus on learning global structure of the data to construct basis and coefficient matrices, which ignores the local structure that commonly exists among data. In this paper, we propose a new type of nonnegative matrix factorization method, which learns local similarity and clustering in a mutually enhancing way. The learned new representation is more representative in that it better reveals inherent geometric property of the data. Nonlinear expansion is given and efficient multiplicative updates are developed with theoretical convergence guarantees. Extensive experimental results have confirmed the effectiveness of the proposed model.

研究の動機と目的

• 既存のNMF手法がデータの局所的幾何構造を捉えることの制限を解消すること。
• 局所的類似性とデータの内在的幾何構造を同時に学習することでクラスタリング性能を向上させること。
• 提案モデルのための理論的収束保証付き最適化フレームワークの構築。
• カーネル化により非線形表現学習を可能にしつつ、局所構造を保持すること。
• パラメータ感度の低減と、実世界の応用における実用性の向上。

提案手法

• 因子分解プロセスに局所的類似性学習を組み込んだ、新しいNMF定式化を提案する。
• RBFカーネルを用いたカーネル化されたバージョンを導入し、データ内の非線形関係をモデル化する。
• 係数行列に正規直交制約を課すことにより、一意性の向上とクラスタリングの解釈可能性を向上させる。
• 理論的収束保証付きの効率的な乗法的更新ルールを導出する。
• 低次元空間における局所多様体構造の保持を目的に、グラフベースの正則化項を導入する。
• 非負性と正規直交性を維持しながら、基底行列と係数行列を交互に更新する二重最適化戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 局所的類似性と幾何構造の共同学習は、NMFに基づくクラスタリング性能を向上させ得るか？
• RQ2 正規直交制約と局所的類似性学習の統合は、因子分解の一意性とクラスタリングの解釈可能性にどのような影響を与えるか？
• RQ3 提案手法は、さまざまなパラメータ設定下でも収束性と安定性を維持するか？
• RQ4 非線形データに対して、カーネル化されたバージョンは線形NMFの変種に比べてどの程度性能を向上させるか？
• RQ5 特に正則化パラメータλの選択に対して、この手法はどの程度感度を示すか？

主な発見

• KLS-NMFは複数のデータセットにおいて平均83.66%の最高クラスタリング正確度を達成し、ベースライン手法を上回った。
• Semeionデータセットではλ = 113で82.74%の正確度を達成し、優れた性能安定性を示した。
• 目的関数の値とパラメータ更新のシーケンスから、収束が約100イテレーションで確認された。
• 実験的結果から、KLS-NMFはパラメータ変動に対して頑健であり、広いλ値の範囲で一貫した性能を示した。
• 最適化過程において目的関数が単調に減少することが確認され、更新ルールの理論的収束性が裏付けられた。
• NMIおよび純度指標においても、KLS-NMFは優れた性能を示し、より良いクラスタリング品質と構造保存性を示した。