[論文レビュー] Non-Negative Matrix Factorization, Convexity and Isometry

Nikolaos Vasiloglou, Alexander Gray+1 more|ArXiv.org|Oct 13, 2008

Sparse and Compressive Sensing Techniques参考文献 23被引用数 4

ひとこと要約

本稿では、非負性を維持するとともに、低次元空間における対比較距離を保持するための等長埋め込みを強制する、新しい非負値行列分解手法である等長NMF（isoNMF）を提案する。凸最適化理論と効率的なアルゴリズムを活用することで、解のグローバル最適性が達成され、解釈可能性が向上し、標準NMFと比較して距離の保持性が優れており、スペクトルがよりスパースかつコンパクトであることが示された。

ABSTRACT

In this paper we explore avenues for improving the reliability of dimensionality reduction methods such as Non-Negative Matrix Factorization (NMF) as interpretive exploratory data analysis tools. We first explore the difficulties of the optimization problem underlying NMF, showing for the first time that non-trivial NMF solutions always exist and that the optimization problem is actually convex, by using the theory of Completely Positive Factorization. We subsequently explore four novel approaches to finding globally-optimal NMF solutions using various ideas from convex optimization. We then develop a new method, isometric NMF (isoNMF), which preserves non-negativity while also providing an isometric embedding, simultaneously achieving two properties which are helpful for interpretation. Though it results in a more difficult optimization problem, we show experimentally that the resulting method is scalable and even achieves more compact spectra than standard NMF.

研究の動機と目的

• 画像、テキスト、スペクトルなどの非負値データに対するNMFを、解釈可能な探索的データ分析ツールとしてより信頼性の高いものに改善すること。
• 標準NMFの限界、特に非凸最適化と低次元プロットにおける距離の保持性の低さを是正すること。
• 特に完全正値因子分解理論を用いた凸最適化フレームワークを通じて、グローバル最適なNMF解を実現すること。
• 非負性と等長埋め込みを同時に満たすことで解釈性を向上させる新規手法isoNMFを提案・検証すること。
• 実世界のデータセットを用いたisoNMFのスケーラビリティと実用的性能を示し、距離の保持性とスパarsityの両面で優れた性能を示すこと。

提案手法

• 完全正値因子分解理論を用いてNMF問題を定式化し、非自明な正確なNMF解が常に存在することを証明するとともに、関連する最適化問題の凸性を確立する。
• 4つの凸最適化アプローチを検討する：正定値行列の凸包による緩和、より小さな錐による半定値行列の近似、凸多目的最適化、一般化幾何プログラミング。
• NMFフレームワークに等長制約を統合することでisoNMFを構築し、元の空間における対比較距離が低次元埋め込み空間でも保持されることを保証する。
• 効率的な近隣計算と最適化技術を用いて、大規模データセットへのスケーリングを実現するとともに、数値安定性を維持する。
• スペクトルのエネルギー分布を比較するため、$ s_i = \frac{\sum_{l=1}^{N} W_{li}^2}{\sqrt{\sum_{l=1}^{M} H_{il}^2}} $ で定義されるスペクトル指標を用いる。
• 可視化にはnmfpackアルゴリズムを適用し、再構成誤差、スパarsity、距離誤差の指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 任意の非負値行列は非自明な正確な非負値行列因子分解を有するか？また、NMF最適化問題は凸か？
• RQ2 凸最適化技術を用いてグローバル最適なNMF解を達成できるか？
• RQ3 NMFに等長埋め込みを統合しながらも、非負性を保ちつつ実用的なスケーラビリティを達成できるか？
• RQ4 提案手法isoNMFは、再構成誤差、スパarsity、距離保持性の観点で標準NMFと比較してどのように異なるか？
• RQ5 isoNMFは標準NMFと比較して、よりコンパクトかつ解釈性の高いスペクトル表現をもたらすか？

主な発見

• 完全正値因子分解を用いた定式化により、NMF最適化問題は凸となり、任意の非負値行列に対して非自明な正確なNMF解が常に存在することが保証される。
• isoNMFはほぼ完全な距離保持性を達成し、ORL顔データセットでは距離誤差が0.01%にまで低下し、彫像データセットでは0.03%にまで低下した。これに対して標準NMFでは90%を超える距離誤差が観測された。
• isoNMFは顕著にスパースな解を生成し、前処理なしのCBCL顔データセットでは標準NMFの29.06%から43.98%にスパarsityが向上した。
• 一部のケース（例：前処理済みCBCLデータセットでは再構成誤差が33.34%対10.16%）では再構成誤差が高くなるが、距離保持性とコンパクトなスペクトルによる優れた解釈性のおかげで、同等またはそれ以上の解釈可能性を維持している。
• isoNMFのスペクトルは標準NMFと比べてはるかにコンパクトであり、より集中的かつ解釈性の高い成分を示している。ただし、正規直交性の欠如により、SVD型スペクトルとの直接比較は制限される。
• isoNMFは標準NMFと同等のスケーリング性能を示し、初期値への感受性も類似しており、実用的妥当性と効率性が確認された。