[論文レビュー] Fast matrix completion without the condition number

Moritz Hardt, Mary Wootters|arXiv (Cornell University)|Jul 15, 2014

Sparse and Compressive Sensing Techniques参考文献 15被引用数 59

ひとこと要約

本論文は、条件数に対して対数的依存性を達成するが、行列次元に対して線形で、多項式的ランクに対しては多項式的依存性を保つ、行列補完のための新しい変種の交互最小化を提示する。この方法により、標準的な非一様性仮定のもとで、ノイズがある状況でも理論的保証を伴う高速かつスケーラブルな回復が可能となり、従来のアルゴリズムに比べてサンプル必要数と収束速度の両面で優れている。

ABSTRACT

We give the first algorithm for Matrix Completion whose running time and sample complexity is polynomial in the rank of the unknown target matrix, linear in the dimension of the matrix, and logarithmic in the condition number of the matrix. To the best of our knowledge, all previous algorithms either incurred a quadratic dependence on the condition number of the unknown matrix or a quadratic dependence on the dimension of the matrix in the running time. Our algorithm is based on a novel extension of Alternating Minimization which we show has theoretical guarantees under standard assumptions even in the presence of noise.

研究の動機と目的

• 条件数と次元に対して2次未塔の依存性を有するスケーラブルな行列補完アルゴリズムの不足を解消すること。
• 2次未塔時間アルゴリズムにおいて、条件数に2次未塔の依存性を達成するという長年の未解決問題を解決すること。
• ノイズのある状況でも性能を維持し、標準的な非一様性仮定のもとで理論的に裏付けられた高速な行列補完アルゴリズムを開発すること。
• 交互最小化フレームワークにおけるSVDベースの初期化に内在する多項式的条件数依存性を排除すること。

提案手法

• 直接的なSVD計算を避けることで、2次的な条件数依存性を排除する新しい交互最小化の変種を提案する。
• 切り捨てられたSVDを回避する新しい初期化戦略を導入し、条件数依存性を多項式的から対数的へと低減する。
• 滑らかなQRに基づく定値化技術（SoftDeflate）を活用し、数値的安定性を向上させながら低ランク成分を反復的に抽出する。
• トレース制約付きでランクを適応的に更新する更新則を組み込んだFrank-Wolfeアルゴリズムを統合し、低ランク構造を維持するとともに収束性を向上させる。
• アルゴリズムのコアステップで効率的なSVD近似を実現するため、$ L = 100 $ の部分空間反復を用いる。
• Frank-Wolfeフレームワークでの収束を保証するため、$ rac{1}{ ext{iteration}} $ ステップサイズを用いたラインサーチを適用する。

実験結果

リサーチクエスチョン

• RQ1 条件数に2次未塔の依存性を有しながらも、行列次元に線形依存性を保つ高速な行列補完アルゴリズムは実現可能か？
• RQ2 SVDベースの初期化を回避する交互最小化の変種を設計することは可能か？ これにより多項式的条件数依存性が排除されるか？
• RQ3 ノイズのある行列補完設定において、標準的な非一様性およびサンプリング仮定のもとで、提案手法は理論的保証を維持するか？
• RQ4 サンプル必要数と誤差の減衰の観点から、アルゴリズムの収束速度はFrank-WolfeおよびSVDベースのソルバーよりも優れているか？
• RQ5 特異値が著しく減衰する状況でも、限られたサンプル数のもとで、低ランク構造を信頼性高く回復できるか？

主な発見

• 提案手法は条件数に対数的依存性を達成しており、従来の2次未塔時間アルゴリズムに比べて指数的改善を示す。
• アルゴリズムは行列次元 $ n $ に対して線形依存性を維持しており、大規模な行列へのスケーラビリティを実現する。
• 実験では、特に0.1や0.01のような小さな特異値に対して、SoftDeflateがFrank-WolfeおよびSVDベースのソルバーよりも優れた低ランク構造回復を達成した。
• Frank-Wolfeは観測エントリでは収束するが、与えられたサンプル予算内では、特に小さな特異値に対しては全行列では収束しない。
• 提案手法のサンプル必要数は、$ ext{poly}(k) imes ext{polylog}(n) imes ext{polylog}( ext{cond}(M)) $ のスケーリングを示し、条件数に対数的依存性を有する。
• 他の手法がサンプル不足のため失敗する状況でも、アルゴリズムは正しい部分空間（$ ext{sin} \Theta(U,X) $ で測定）を回復できた。