[論文レビュー] Recovery guarantee of weighted low-rank approximation via alternating minimization

Yuanzhi Li, Yingyu Liang+1 more|arXiv (Cornell University)|Feb 6, 2016

Sparse and Compressive Sensing Techniques参考文献 24被引用数 17

ひとこと要約

本稿は、非二値の決定的重みを用いた交替最小化による重み付き低ランク行列近似について、初めての証明可能回復保証を提供する。スペクトルノルムとしての誤差と真の行列との間の差が、反復回数とともに指数関数的に減少することを示しており、わずかな非一様性とスペクトルギャップの仮定のもとで、ランダム初期化からでさえ成り立つ。これは、主要な行列の性質を維持するための単純なクリッピングステップを用いることで達成される。

ABSTRACT

Many applications require recovering a ground truth low-rank matrix from noisy observations of the entries, which in practice is typically formulated as a weighted low-rank approximation problem and solved by non-convex optimization heuristics such as alternating minimization. In this paper, we provide provable recovery guarantee of weighted low-rank via a simple alternating minimization algorithm. In particular, for a natural class of matrices and weights and without any assumption on the noise, we bound the spectral norm of the difference between the recovered matrix and the ground truth, by the spectral norm of the weighted noise plus an additive error that decreases exponentially with the number of rounds of alternating minimization, from either initialization by SVD or, more importantly, random initialization. These provide the first theoretical results for weighted low-rank via alternating minimization with non-binary deterministic weights, significantly generalizing those for matrix completion, the special case with binary weights, since our assumptions are similar or weaker than those made in existing works. Furthermore, this is achieved by a very simple algorithm that improves the vanilla alternating minimization with a simple clipping step. The key technical challenge is that under non-binary deterministic weights, naïve alternating steps will destroy the incoherence and spectral properties of the intermediate solutions, which are needed for making progress towards the ground truth. We show that the properties only need to hold in an average sense and can be achieved by the clipping step. We further provide an alternating algorithm that uses a whitening step that keeps the properties via SDP and Rademacher rounding and thus requires weaker assumptions. This technique can potentially be applied in some other applications and is of independent interest.

研究の動機と目的

• 実際の応用で広く用いられるヒューリスティックである交替最小化を用いた重み付き低ランク近似の理論的回復保証を確立すること。
• 既存の行列補完結果を、非二値で決定的重みを有する一般化された重み付き低ランク近似に拡張すること。
• 最小限の仮定のもとでの収束性を分析すること。これには、ノイズに制限がないこと、およびランダム初期化に対してロバストであることの含む。
• 収束に不可欠な非一様性とスペクトル特性を平均的に維持するクリッピングに基づくアルゴリズムを開発すること。
• ノイズ分散が各エントリごとに異なるような応用分野（例：単語埋め込みや生物学的データ解析）における理論的基盤を提供すること。

提案手法

• 中間解の安定化と非一様性の維持を目的として、クリッピングステップを追加した単純な交替最小化アルゴリズムを提案する。
• スペクトルノルム解析を用いて、回復された行列と真の行列との間の誤差を評価する。
• 反復ごとに真の行列との距離が指数関数的に減少することを示す、革新的な解析フレームワークを導入する。
• 厳密な反復毎の不変性を要求せず、平均的観点での非一様性およびスペクトル特性の保存戦略（クリッピングを用いて）を採用する。
• より弱い仮定のもとで特性を維持できる、半正定値プログラミングによるホワイトニングとラデマッハラウンディングを用いた代替アルゴリズムを提示する。
• 重み行列のスペクトルギャップが収束に与える影響を分析し、単語埋め込みコーパス上での実験により仮定の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 非二値の重みを有する重み付き低ランク近似における交替最小化が、一般の重みのもとで真の行列を理論的に回復可能であるか？
• RQ2 SVDによる初期化を必要とせず、ランダム初期化からでもアルゴリズムが収束するか？
• RQ3 誤差は反復回数とともにどのように減少するか？また、重み付きノイズに加え、指数関数的に減少する項によって誤差を有界にできるか？
• RQ4 重み行列のスペクトルギャップは収束性と安定性を保証するために果たす役割は何か？
• RQ5 厳密な反復毎の不変性を要求せず、中間解の非一様性とスペクトル特性を維持できるか？

主な発見

• 回復された行列と真の行列との間の誤差のスペクトルノルムは、重み付きノイズのスペクトルノルムに加え、反復回数とともに指数関数的に減少する加法的誤差項によって有界にできる。
• SVD初期化に加え、より重要なことに、やや厳しい仮定のもとでランダム初期化からでも回復保証が成立する。
• クリッピングステップにより、非一様性とスペクトル特性が平均的に維持され、非凸性にもかかわらず収束が可能になる。
• 理論的枠組みは、従来の行列補完結果を一般化し、単語埋め込みや生物学的データなど、ノイズ分散が非一様な設定にも適用可能である。
• 大規模コーパス上での実証的検証により、しきい値を適用した共起重み（例：f(X_ij) = max(X_ij, 100)）が顕著なスペクトルギャップを示し、理論的仮定を裏付ける。
• SDPベースのホワイトニングとラデマッハラウンディングを用いた代替アルゴリズムは、より弱い仮定を要し、他の応用分野に対しても独立して価値のあるものである。