[論文レビュー] Convex Algorithms for Nonnegative Matrix Factorization

V. Krishnamurthy, Alexandre d’Aspremont|arXiv (Cornell University)|Jul 2, 2012

Matrix Theory and Algorithms参考文献 18被引用数 5

ひとこと要約

本稿では、非凸なNMF問題を完全正定値行列近似を用いた凸緩和に再定式化することにより、非負値行列分解（NMF）の凸最適化アルゴリズムを提案する。グローバル最適解を達成でき、収束保証が得られ、グラフ分割のような対称的NMF問題において優れた性能を示すが、非対称な場合の効率性は依然として限定的である。

ABSTRACT

We derive approximation algorithms for the nonnegative matrix factorization problem, i.e. the problem of factorizing a matrix as the product of two matrices with nonnegative coefficients. We form convex approximations of this problem which can be solved efficiently and test our algorithms on some classic numerical examples.

研究の動機と目的

• 従来の非凸NMFアルゴリズムにおける不安定性と収束保証の欠如を解消するため、凸近似を定式化する。
• 特に対称行列に対して、凸緩和を通じてNMFのグローバル最適化を可能にする。
• 複雑度の上限と双対ギャップの計算を用いた性能監視が可能な、計算的に扱いやすいアルゴリズムを提供する。
• 対称的NMFから非対称的NMFへの凸フレームワークの拡張を図るが、効率性は低下する。
• 実世界の問題、例えば隣接行列の因子分解を用いたグラフ分割に本手法を適用する。

提案手法

• 対称的NMFを、行列を完全正定値行列で近似する問題として定式化する。ここで、$ A = UU^T $ かつ $ U \geq 0 $ であれば $ A $ は完全正定値であるという事実を活用する。
• 完全正定値錐の凸制限を、半定値プログラミング（SDP）緩和を用いて近似することでNMF問題を緩和する。
• 正定値行列の多様体上で効率的に解けるよう、指数写像を用いたリーマン的信頼域法を適用する。
• 指数写像を用いて最適性条件を導出し、双対ギャップの計算と収束の追跡を可能にする。
• 一般の $ A \approx UV^T $ の設定に適応した凸緩和を用いて、対称的凸フレームワークを非対称的NMFに拡張する。
• 緩和された凸問題に対して投影勾配法を実装し、グラフ分割ベンチマークにおける性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 非凸NMF問題の凸緩和を構築することで、グローバル最適化と収束保証を達成できるか？
• RQ2 収束性と解の品質の観点で、乗法的更新や交互最小二乗法といった従来の非凸手法と比較して、凸NMFアルゴリズムの性能はどの程度向上するか？
• RQ3 凸緩和フレームワークを非対称的NMF問題へどの程度まで拡張できるか？
• RQ4 バイナリの隣接行列を用いたグラフ分割のような実世界の応用において、凸NMFアプローチはどの程度有効か？
• RQ5 既存のソルバーと比較して、提案された凸アルゴリズムの計算複雑度と収束特性はいかがなっているか？

主な発見

• 完全正定値行列近似による対称的NMFの凸緩和により、収束保証と双対ギャップの計算が可能となり、グローバル最適化が実現できる。
• グラフ分割タスクにおいて、提案された凸NMF手法は、二部グラフに近いグラフに対してスペクトルクラスタリングを上回り、困難な状況下でも優れたクラスタリング品質を示している。
• 投影勾配法は、行列サイズ $ n $ に対して反復回数が合理的に増加する傾向を示し、合成ランダムグラフにおいて実用的な収束行動を示している。
• グラフの接続性のレベルが変化しても、凸NMF手法の性能は安定しており、図2に示すように、平均性能は1標準偏差の範囲内に収束している。
• 対称的NMFに対しては有効であるが、非対称的NMFでは内点法よりも著しく遅いため、スケーラビリティに関する主要な未解決課題が残っている。
• リーマン多様体上での指数写像の使用により、効率的な最適化と双対ギャップを用いた信頼性の高い収束追跡が可能になった。