[論文レビュー] Provable Alternating Gradient Descent for Non-negative Matrix Factorization with Strong Correlations

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|Jun 13, 2017

Face and Expression Recognition参考文献 14被引用数 8

ひとこと要約

本稿では、強い相関を持つ重みベクトル下でも真の特徴行列を回復できる、非負値行列分解（NMF）のための理論的に収束保証のあるアルゴリズムであるAND（Alternating Non-negative Gradient Descent）を提案する。確率的勾配降下法としきい値付きデコードステップを組み合わせ、軽微な初期化を施すことにより、多項式時間収束性とノイズに対するロバスト性を達成し、半実験的データ上で既存手法を上回る性能を示す。

ABSTRACT

Non-negative matrix factorization is a basic tool for decomposing data into the feature and weight matrices under non-negativity constraints, and in practice is often solved in the alternating minimization framework. However, it is unclear whether such algorithms can recover the ground-truth feature matrix when the weights for different features are highly correlated, which is common in applications. This paper proposes a simple and natural alternating gradient descent based algorithm, and shows that with a mild initialization it provably recovers the ground-truth in the presence of strong correlations. In most interesting cases, the correlation can be in the same order as the highest possible. Our analysis also reveals its several favorable features including robustness to noise. We complement our theoretical results with empirical studies on semi-synthetic datasets, demonstrating its advantage over several popular methods in recovering the ground-truth.

研究の動機と目的

• 重みベクトルに強い相関がある場合に、NMFにおける逐次最小化アルゴリズムに理論的保証が欠けているという問題に対処すること。
• 現実的なデータ生成モデル下でも真の特徴行列を回復できる、実用的かつ理論的に収束保証のあるアルゴリズムの開発。
• 一般条件下でのノイズに対するアルゴリズムのロバスト性と収束特性の分析。
• 半実験的データセット上での実験的評価を通じて、既存のNMFアルゴリズムが真の潜在的特徴を回復する能力を上回ることの実証。

提案手法

• アルゴリズムは2段階の反復的プロセスを用いる：(1) しきい値付き疑似逆行列射影を用いた重みベクトルのデコード、(2) フロベニウスノルム損失関数に対する確率的勾配降下法による特徴行列の更新。
• デコードステップでは、データポイントの疑似逆行列射影にReLUに類似したしきい値関数φαを適用し、スパarsityと安定性を確保する。
• 特徴更新ステップでは、デコードされた重みベクトルを用いて尤度関数の勾配上昇法を実行し、更新式はA^{(t+1)} = A^{(t)} + η(yz^T - A^{(t)}zz^T)となる。
• アルゴリズムは段階的に動作し、1段階の最終的なAを次の段階の初期化に用いることで、段階的改善を可能にする。
• 正確または複雑な初期化スキームを必要としない、軽微な初期化戦略を採用する。
• 理論的分析により、重みベクトル間に強い相関がある場合を含む一般条件下でも、真の特徴行列への収束が保証されることが示された。

実験結果

リサーチクエスチョン

• RQ1 重みベクトルに強い相関がある場合に、逐次勾配降下法が理論的に真の特徴行列を回復できるか？
• RQ2 ノイズが加わったデータ条件下でも、提案手法は収束性とロバスト性を維持できるか？
• RQ3 半実験的データセット上での真の潜在的特徴の回復において、ANDアルゴリズムは既存のNMF手法と比較してどのように性能を発揮するか？
• RQ4 しきい値付きデコードステップは、高相関下での収束安定化に果たす役割は何か？
• RQ5 正確または複雑な初期化を必要とせず、僅かな初期化のみで理論的収束を達成できるか？

主な発見

• ANDアルゴリズムは、理論的最悪ケースに達するまで強い相関を示す重みベクトル下でも、多項式時間で真の特徴行列を理論的に回復する。
• データ生成モデルに加法的ガウスノイズが存在する場合でも、ノイズに対してロバストであり、収束性を維持する。
• 半実験的データセット上での実験的評価により、ANDは代表的なNMF手法（乗法的更新や非負値最小二乗法）よりも真の特徴に速やかに収束することが示された。
• 20newsgroupsデータセットにおけるトピックモデリングでは、ANDはよくチューニングされたLDAやNMF実装と同等の解釈可能なトピックを生成した。
• Olivetti顔データセットにおける画像分解では、ANDは意味のあるコンポーネントを生成し、sklearnのNMF実装と同等の性能を示した。
• 初期化が悪くても、収束行動と安定性が優れており、実用的ロバスト性が顕著に示された。