[論文レビュー] Algorithms, Initializations, and Convergence for the Nonnegative Matrix Factorization

Amy N. Langville, Carl D. Meyer+3 more|arXiv (Cornell University)|Jul 28, 2014

Matrix Theory and Algorithms参考文献 57被引用数 160

ひとこと要約

本稿では、非負値行列分解（NMF）のための2つの高速な交互最小二乗（ALS）アルゴリズム、ACLSおよびAHCLSを提案する。これらは収束速度と精度を顕著に向上させる。6つの初期化手法（2つは新規）を評価し、計算コストを削減しながらも信頼性を維持する、効率的な角収束基準を提案する。特に後期反復において顕著である。

ABSTRACT

It is well known that good initializations can improve the speed and accuracy of the solutions of many nonnegative matrix factorization (NMF) algorithms. Many NMF algorithms are sensitive with respect to the initialization of W or H or both. This is especially true of algorithms of the alternating least squares (ALS) type, including the two new ALS algorithms that we present in this paper. We compare the results of six initialization procedures (two standard and four new) on our ALS algorithms. Lastly, we discuss the practical issue of choosing an appropriate convergence criterion.

研究の動機と目的

• 大規模データ応用を想定した、より高速かつ信頼性の高い非負値行列分解（NMF）アルゴリズムの開発。
• 初期化に敏感であるNMFアルゴリズムの問題を解決し、収束が遅いか、最適でない解に収束するのを防ぐ。
• 高価なフロベニウスノルム計算を回避する、計算的に効率的な収束基準の提案。
• アルゴリズムの性能に与える影響を評価・比較するため、複数の初期化戦略（新規を含む）の検討。
• 実世界のNMF実装における収束制御に関する実用的ガイダンスの提供。

提案手法

• WとHを交互に最小二乗部分問題で最適化する2つの新規な交互最小二乗（ALS）アルゴリズム、ACLSおよびAHCLSを導入。
• 目的関数を効率的に評価するため、トレースに基づくフロベニウスノルム計算を採用：‖A − WH‖²_F = trace(AᵀA) − 2trace(HᵀWᵀA) + trace(HᵀWᵀWH)。
• 連続する基底ベクトルW_i^(j+1)とW_i^jの間の角度を測定する角収束基準を提案。角度がε未満に下がると停止する。
• 収束測定を5〜10回ごとに実行するバーニング期間を設けることで、オーバーヘッドを低減し、正確性を損なわない。
• 6つの初期化手法を比較：2つは標準的手法（SVDベースとランダム）、4つは新規で、非負値SVDに基づくものとk-meansクラスタリングを用いるものがある。
• cisi（テキストマイニング）を含む実世界のデータセットにアルゴリズムを適用し、性能と収束行動の実証的妥当性を検証。

実験結果

リサーチクエスチョン

• RQ1 異なる初期化戦略は、ALS型NMFアルゴリズムの収束速度と解の質にどのように影響を与えるか？
• RQ2 標準的なフロベニウスノルムに基づく停止条件に代わって、計算コストが低い収束基準が解の忠実性を損なわず、代替可能か？
• RQ3 提案された角収束測定は、特に後期反復においても信頼性のある収束検出を維持できるか？
• RQ4 新規のACLSおよびAHCLSアルゴリズムは、既存のNMFおよび切断SVD手法と比較して、速度と正確性の点で優れているか？
• RQ5 固定反復回数（maxiter）を収束基準とする場合の影響は何か？なぜ実用的応用において不適切なのか？

主な発見

• ACLSおよびAHCLSアルゴリズムは、利用可能なNMFソルバーの中でも最も高速な部類に属し、多くのデータセットにおいて切断SVDでさえも上回る速度を示す。
• 提案された角収束基準は、フロベニウスノルムよりもはるかに計算コストが低く、特に後期反復において目的関数の低下と強く相関している。
• 非負値SVDおよびk-meansベースの初期化法を含む新規初期化手法は、標準的なランダム初期化に比べ、収束速度と解の質の両面で一貫して優れている。
• 固定反復回数（maxiter）は、問題依存的で数学的根拠に欠けるため、問題があり、適応的基準に比べて信頼性が低いことが示された。
• 角測定は、Wの列再順序付けのため、単調減少を保証しないが、数回の反復後に列順序が安定すると、依然として有効である。
• 終了時に局所最適解への収束を保証しないため、目的関数の値が平坦化したからといって、真の局所最小値に収束しているとは限らない。したがって、終了時の定常性チェックを推奨する。