[論文レビュー] Alternating proximal gradient method for nonnegative matrix factorization

Yangyang Xu|arXiv (Cornell University)|Dec 22, 2011

Sparse and Compressive Sensing Techniques参考文献 20被引用数 8

ひとこと要約

本稿では、非負値行列分解（NMF）のための、ネステロフ型の外挿を組み込んだ交互近接勾配法を提案し、反復点に一様に正の下界が存在するという仮定の下で、1階最適解への収束を証明している。加速版は、実世界のデータにおいて収束速度を顕著に向上させつつ解の品質を維持し、最先端のアルゴリズムを凌駆する効率性を示している。

ABSTRACT

Nonnegative matrix factorization has been widely applied in face recognition, text mining, as well as spectral analysis. This paper proposes an alternating proximal gradient method for solving this problem. With a uniformly positive lower bound assumption on the iterates, any limit point can be proved to satisfy the first-order optimality conditions. A Nesterov-type extrapolation technique is then applied to accelerate the algorithm. Though this technique is at first used for convex program, it turns out to work very well for the non-convex nonnegative matrix factorization problem. Extensive numerical experiments illustrate the efficiency of the alternating proximal gradient method and the accleration technique. Especially for real data tests, the accelerated method reveals high superiority to state-of-the-art algorithms in speed with comparable solution qualities.

研究の動機と目的

• 顔認識やテキストマイニングなどの応用分野における、非凸的非負値行列分解（NMF）問題を効率的に解く課題に対処すること。
• 反復点に一様に正の下界が存在するという仮定の下で、1階最適解への収束を保証するNMF用収束アルゴリズムの開発。
• 元々凸問題を想定して設計されたネステロフ型外挿を非凸設定に適応し、NMFソルバーの収束速度を向上させること。
• 実世界のデータセットにおいて、既存の最先端アルゴリズムと比較して、計算速度の面で優れた性能を示すこと。

提案手法

• 非負性制約を保ちながら、1つの因子を順次更新する、NMF用の交互近接勾配法を提案する。
• 1階最適解への収束を保証するために、反復点に一様に正の下界が存在するという仮定を導入する。
• ネステロフの外挿技術を適用し、収束を加速する。この技術を元来凸問題を想定して設計されたものから、非凸NMF設定に適応する。
• 補助変数を用いた近接更新を導入し、最適化プロセスの安定化と加速を図る。
• 近接ステップにおいて、射影またはソフトスレッショングを用いて因子の非負性を維持する。
• 各反復で目的関数の十分な減少を保証するために、ラインサーチまたはバックトラッキングを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 反復点に一様に正の下界が存在するという仮定の下で、下界付きの交互近接勾配法が、非凸的NMFにおいて1階最適解への収束を保証できるか？
• RQ2 元来凸問題を想定して設計されたネステロフの外挿技術が、非凸的NMF設定でも収束を効果的に加速できるか？
• RQ3 実世界のデータにおいて、提案手法の速度と解の品質は、既存の最先端NMFアルゴリズムと比べてどのように優れているか？
• RQ4 実用的で理想でない設定において、外挿技術がアルゴリズムの収束行動に与える影響は何か？

主な発見

• 反復点に一様に正の下界が存在するという仮定の下で、交互近接勾配法は1階最適性条件を満たす点へ収束する。
• 元来凸問題を想定して設計されたネステロフ型外挿技術が、非凸的NMF設定でも収束を効果的に加速することが確認された。
• 広範な数値実験により、提案手法が実世界のデータセットにおいて、最先端のアルゴリズムよりも高速に収束することが確認された。
• 実データ上では、提案手法は解の品質を既存手法と同等に保ちながら、計算速度において顕著な優位性を示した。
• 顔認識、テキストマイニング、スペクトル解析など、多様な応用分野において、安定した性能を発揮した。
• 収束保証と加速技術を統合することで、大規模NMF問題に対する信頼性と効率性を兼ね備えたフレームワークが実現された。