[論文レビュー] On the Provable Convergence of Alternating Minimization for Matrix Completion.

Moritz Hardt|arXiv (Cornell University)|Dec 3, 2013

Sparse and Compressive Sensing Techniques参考文献 19被引用数 14

ひとこと要約

本稿では、標準的な非一様性仮定の下で線形収束を達成する、行列補完のための証明可能に収束する交互最小化アルゴリズムを提示する。先行研究と比較して、ランクおよび条件数の観点から、必要なサンプル複雑度を少なくとも四乗の要因で削減する。この手法は、部分空間反復の頑健な解析を活用し、中間反復におけるコherー二ンスを制御する新しい技術を導入する。

ABSTRACT

Alternating Minimization is a widely used and empirically successful framework for Matrix Completion and related low-rank optimization problems. We give a new algorithm based on Alternating Minimization that provably recovers an unknown low-rank matrix from a random subsample of its entries under a standard incoherence assumption while achieving a linear convergence rate. Compared to previous work our results reduce the provable sample complexity requirements of the Alternating Minimization approach by at least a quartic factor in the rank and the condition number of the unknown matrix. These improvements apply when the matrix is exactly low-rank and when it is only close to low-rank in the Frobenius norm. Underlying our work is a new robust convergence analysis of the well-known Subspace Iteration algorithm for computing the dominant singular vectors of a matrix also known as the Power Method. This viewpoint leads to a conceptually simple understanding of Alternating Minimization that we exploit. Additionally, we contribute a new technique for controlling the coherence of intermediate solutions arising in iterative algorithms. These techniques may be of interest beyond their application here.

研究の動機と目的

• 低ランク行列補完における交互最小化の証明可能な収束保証を確立すること。
• ランクおよび条件数の観点から、低ランク行列の復元に必要なサンプル複雑度を少なくとも四乗の要因で低減すること。
• フロベニウスノルムにおいて僅かに低ランクであるとされる行列への収束保証の拡張。
• ノイズが混在するか不完全なデータを扱うために、繰り返し的低ランク近似における部分空間反復の頑健な解析を開発すること。
• 繰り返し的行列回復アルゴリズムにおける中間解のコヒーレンスを制御するための新技術の導入。

提案手法

• アルゴリズムは、観測されたエントリのランダムサブセットから、未知の低ランク行列の行空間および列空間を繰り返し推定する交互最小化を採用する。
• 主な特異部分空間を計算する部分空間反復（パワー法）の頑健な収束解析を活用し、不完全なデータ下でも安定性を確保する。
• 中間解行列のコヒーレンスを制限するための新規なコヒーレンス制御機構を導入し、反復過程における悪条件化を防止する。
• 未知行列の標準的な非一様性仮定の下で、線形収束レートが確立される。
• 正確に低ランクである場合と、フロベニウスノルムにおいて近似的に低ランクである場合の両方に対して理論的保証が導出される。
• 先行の証明可能な結果と比較して、ランクおよび条件数への依存を四乗の要因で低減することで、改善されたサンプル複雑度を達成する。

実験結果

リサーチクエスチョン

• RQ1 標準的な非一様性仮定の下で、サンプル複雑度を低減しつつ、行列補完のための交互最小化が線形収束することを証明できるか？
• RQ2 繰り返し的低ランクアルゴリズムにおける中間解のコヒーレンスをどのように制御すれば、安定な収束を保証できるか？
• RQ3 交互最小化を用いた低ランク行列の証明可能な回復に必要な最小サンプル複雑度は何か？
• RQ4 部分空間反復の収束解析を、行列補完における不完全またはノイズ混在データの処理に拡張できるか？
• RQ5 理論的保証は、僅かに低ランクであるとされる行列へどのように拡張されるか？

主な発見

• 提案されたアルゴリズムは、標準的な非一様性仮定の下で、行列補完に対して線形収束を達成する。
• 先行の証明可能な結果と比較して、ランクおよび条件数の両方において、必要なサンプル複雑度が少なくとも四乗の要因で低減される。
• この手法は、フロベニウスノルムにおいて正確に低ランクである場合と、近似的に低ランクである場合の両方に適用可能である。
• 部分空間反復の新規な頑健な解析により、不完全なデータ下でも安定した収束が可能になる。
• 新規なコヒーレンス制御技術により、反復の全過程にわたり中間解が良好に条件付けられることが保証される。
• 理論的枠組みは、部分空間反復による交互最小化の概念的に単純で、原理的である理解を提供する。