[論文レビュー] Fast Exact Matrix Completion with Finite Samples

Prateek Jain, Praneeth Netrapalli|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 12被引用数 11

ひとこと要約

本稿では、条件数や精度に依存しない $O(nr^5\log^3n)$ 個の有限サンプルを用いて、正確な低ランク行列補完を実現する高速反復的アルゴリズム Stagewise-SVP (St-SVP) を提案する。この手法は、$\epsilon$-依存性のない $\infty$-ノルムポテンシャル関数と拡張された Davis-Kahan 定理を用い、近似的に線形時間 $O(nr^7\log^3n\log 1/\epsilon)$ の実行時間を達成する。これは、有限サンプル複雑度を持つ最初の近似的線形時間の正確な行列補完手法である。

ABSTRACT

Matrix completion is the problem of recovering a low rank matrix by observing a small fraction of its entries. A series of recent works [KOM12,JNS13,HW14] have proposed fast non-convex optimization based iterative algorithms to solve this problem. However, the sample complexity in all these results is sub-optimal in its dependence on the rank, condition number and the desired accuracy. In this paper, we present a fast iterative algorithm that solves the matrix completion problem by observing $O(nr^5 \log^3 n)$ entries, which is independent of the condition number and the desired accuracy. The run time of our algorithm is $O(nr^7\log^3 n\log 1/ε)$ which is near linear in the dimension of the matrix. To the best of our knowledge, this is the first near linear time algorithm for exact matrix completion with finite sample complexity (i.e. independent of $ε$). Our algorithm is based on a well known projected gradient descent method, where the projection is onto the (non-convex) set of low rank matrices. There are two key ideas in our result: 1) our argument is based on a $\ell_{\infty}$ norm potential function (as opposed to the spectral norm) and provides a novel way to obtain perturbation bounds for it. 2) we prove and use a natural extension of the Davis-Kahan theorem to obtain perturbation bounds on the best low rank approximation of matrices with good eigen-gap. Both of these ideas may be of independent interest.

研究の動機と目的

• 従来の非凸反復的手法における不適切なサンプル複雑度、特に条件数や所望の精度に依存する問題を解決すること。
• 条件数 $\kappa$ や $\epsilon$ に依存しない有限サンプル複雑度を持つ、高速で正確な行列補完アルゴリズムの開発。
• 行列次元に関して近似的線形時間複雑度を達成しながら、正確な回復を保証すること。
• 非凸低ランク集合における投影勾配降下法の理論的基盤を、新しい摂動解析を用いて提供すること。

提案手法

• SVD を用いたランク-$r$ 投影を用いた反復的更新を行う、投影勾配降下法である Stagewise-SVP (St-SVP) を提案する。
• 従来のスペクトルノルム解析に代わる、摂動境界を導出するための新しい $\ell_\infty$-ノルムポテンシャル関数を採用する。
• 良い固有値ギャップがある下で、低ランク近似における摂動を制限するための Davis-Kahan 定理の自然な拡張を導入する。
• 反復の依存性を回避するための段階的サンプリング戦略を用い、有限サンプルでの正確な回復を可能にする。
• グラフ構造上の確率的ウォークの $k$ 階モーメントの境界と Markov 不等式を用いて収束を分析する。
• サンプル複雑度 $O(nr^5\log^3n)$ および実行時間 $O(nr^7\log^3n\log 1/\epsilon)$ を確立し、両者とも $n$ に対して近似的線形である。

実験結果

リサーチクエスチョン

• RQ1 非凸反復的アルゴリズムは、条件数や精度に依存しない有限サンプル複雑度で正確な行列補完を達成できるか？
• RQ2 非凸低ランク行列における投影勾配降下法は、正確な回復保証を得ながらも近似的線形時間複雑度を達成できるか？
• RQ3 $\ell_\infty$-ノルムポテンシャル関数は、スペクトルノルムに基づく解析に比べて、低ランク行列回復においてよりタイトで解析可能な摂動境界を提供できるか？
• RQ4 拡張された Davis-Kahan 定理は、非凸設定下での固有値ギャップがある場合の低ランク近似誤差の解析を改善できるか？
• RQ5 反復の依存性を回避しつつ有限サンプル収束を保証できる段階的サンプリング戦略を設計できるか？

主な発見

• 提案された St-SVP アルゴリズムは、条件数や所望の精度 $\epsilon$ に依存しない $O(nr^5\log^3n)$ 個の観測エントリを用いて正確な行列補完を達成する。
• アルゴリズムの実行時間は $O(nr^7\log^3n\log 1/\epsilon)$ であり、行列次元 $n$ に対して近似的線形であるため、大規模な問題にスケーラブルである。
• $\ell_\infty$-ノルムポテンシャル関数の使用により、スペクトルノルムに基づく解析に比べてよりタイトで頑健な摂動境界が得られる。
• 拡張された Davis-Kahan 定理は、固有値ギャップがある場合の低ランク近似誤差の解析に新たな理論的ツールを提供する。
• 実験結果では、特に条件数が高い行列において、標準的な SVP よりも St-SVP が回復精度と実行時間の両面で優れていることが示された。
• St-SVP は行列サイズに対して近似的線形スケーリングを維持しており、条件数が高くなるほど SVP よりも顕著に高速である。