[論文レビュー] EquiNMF: Graph Regularized Multiview Nonnegative Matrix Factorization

Daniel Hidru, Anna Goldenberg|arXiv (Cornell University)|Sep 14, 2014

Advanced Image and Video Retrieval Techniques参考文献 13被引用数 30

ひとこと要約

EquiNMFは、データ固有の方法で教師なしに最適なパrameterを自動で学習する、グラフ正則化を施したマルチビュー非負値行列分解手法を提案する。すべてのビューからの寄与を均等に保ち、内在するデータ構造を保存するためのグラフ正則化を統合することで、EquiNMFは複数の画像データセットにおいて、単一ビューおよびマルチビューNMFのベースラインを一貫して上回る優れたクラスタリング精度を達成する。

ABSTRACT

Nonnegative matrix factorization (NMF) methods have proved to be powerful across a wide range of real-world clustering applications. Integrating multiple types of measurements for the same objects/subjects allows us to gain a deeper understanding of the data and refine the clustering. We have developed a novel Graph-reguarized multiview NMF-based method for data integration called EquiNMF. The parameters for our method are set in a completely automated data-specific unsupervised fashion, a highly desirable property in real-world applications. We performed extensive and comprehensive experiments on multiview imaging data. We show that EquiNMF consistently outperforms other single-view NMF methods used on concatenated data and multi-view NMF methods with different types of regularizations.

研究の動機と目的

• 複数のデータビューを統合する際の課題に、それらの内在的な幾何的構造を保持することで、より良いクラスタリングを実現すること。
• 正則化重みやビュー寄与度の手動または教師ありパrameterチューニングの必要性を排除すること、特にマルチビューNMFにおいて。
• 共通行列に依存せずに、すべてのビューが等しく寄与するようにする手法を開発することにより、最適化を簡素化し、耐性を高めること。
• 各ビュー内の局所的データ構造を捉えるために、マルチビューNMFにグラフ正則化を組み込むことで、クラスタリング性能を向上させること。
• スケーラブルで一貫性のある、完全に教師なしでデータに適応するパrameter推定戦略を提供すること。

提案手法

• 共通行列を用いない、各ビューの寄与を明示的に均等に保つように設計された、グラフ正則化とマルチビューNMFを組み合わせた新しい目的関数を提案する。
• 各ビューの因子分解がグラフラプラシアンを介して正則化される再定式化された最適化問題を導入し、類似したデータポイントが類似した低次元表現を持つように保証する。
• 対称的類似度行列 $W$ 及びその対応するラプラシアン $\Delta = D - W$ を用いて、各ビュー内の局所的幾何的構造を符号化する。
• 再構成誤差とグラフ正則化項を組み合わせた反復的乗法的更新ルールを採用する：$V_{j,k} \leftarrow V_{j,k} \frac{(X^T U)_{j,k} + \gamma (WV)_{j,k}}{(V U^T U)_{j,k} + \gamma (D V)_{j,k}}$。
• 交差検証を回避するヒューリスティックを用いて、グラフ正則化パrameter $\gamma$ を自動で設定し、実世界の教師なし設定においても耐性を確保する。
• k-meansにノイズを追加した安定した初期化戦略を採用し、計算コストを増加させることなく、初期値が悪くても性能の低下を防ぐ。

実験結果

リサーチクエスチョン

• RQ1 各ビュー内での局所的データ構造を保存することで、グラフ正則化はマルチビューNMFの性能を向上させ得るか？
• RQ2 共通行列に依存せず、複雑な最適化スケジューリングを用いずに、複数のビューからの等しい寄与をどのように実現できるか？
• RQ3 教師なしマルチビュー設定においてラベルが利用できない状況で、自動パrameterチューニングがクラスタリング性能に与える影響は何か？
• RQ4 提案手法は、異なるビュー寄与度やデータ構造を持つ多様なデータセットに対しても、耐性と一貫性を保っているか？
• RQ5 異なるパrameter設定下で、既存のマルチビューNMF手法と比較して、EquiNMFの正確性と安定性はどの程度か？

主な発見

• EquiNMFは、3つの画像データセットにおいて、連結されたデータに対する単一ビューNMFおよびさまざまな正則化を施した他のマルチビューNMF手法を一貫して上回る。
• 交差検証を必要とせず、ヒューリスティックによる自動設定で $\gamma$ を決定しても、優れたクラスタリング精度を達成する。
• グラフ正則化が過剰に強調されると性能が著しく低下するため、等しいビュー寄与度（乗数 = 1）が最適なバランスを示している。
• 共通行列が存在しないことで、最適化プロセスが簡素化され、ビュー固有の因子と共通行列の間の交互更新の必要性が回避され、収束性と安定性が向上する。
• ランダム初期化では性能のばらつきが大きくなるが、提案されたk-meansにノイズを追加した初期化は、最小限の計算コストで安定的かつ高い性能を発揮する。
• 本手法は多様なデータセットに対して耐性を示す：他の手法は1つのデータセットでは優れた性能を示すが、他のデータセットでは劣るのに対し、EquiNMFはすべてのテストデータセットで一貫した性能を維持する。