[論文レビュー] Provable Efficient Online Matrix Completion via Non-convex Stochastic Gradient Descent

Chi Jin, Sham M. Kakade+1 more|arXiv (Cornell University)|May 26, 2016

Sparse and Compressive Sensing Techniques参考文献 17被引用数 29

ひとこと要約

本稿では、低ランク行列分解における非凸確率的勾配降下法（SGD）を用いた、初めての証明可能に効率的なオンライン行列補完アルゴリズムを提示する。観測ごとに因子行列の1行のみを更新することでほぼ線形の実行時間を達成し、標準的な非一様性およびサンプリング仮定の下で真の行列への収束を証明する。

ABSTRACT

Matrix completion, where we wish to recover a low rank matrix by observing a few entries from it, is a widely studied problem in both theory and practice with wide applications. Most of the provable algorithms so far on this problem have been restricted to the offline setting where they provide an estimate of the unknown matrix using all observations simultaneously. However, in many applications, the online version, where we observe one entry at a time and dynamically update our estimate, is more appealing. While existing algorithms are efficient for the offline setting, they could be highly inefficient for the online setting. In this paper, we propose the first provable, efficient online algorithm for matrix completion. Our algorithm starts from an initial estimate of the matrix and then performs non-convex stochastic gradient descent (SGD). After every observation, it performs a fast update involving only one row of two tall matrices, giving near linear total runtime. Our algorithm can be naturally used in the offline setting as well, where it gives competitive sample complexity and runtime to state of the art algorithms. Our proofs introduce a general framework to show that SGD updates tend to stay away from saddle surfaces and could be of broader interests for other non-convex problems to prove tight rates.

研究の動機と目的

• エントリが逐次的に到着し、リアルタイムで推定値を更新する必要があるオンラインの低ランク行列補完のための、証明可能に効率的なアルゴリズムが不足しているという問題に取り組む。
• 各新しい観測値の後に再計算を繰り返すオフライン手法の非効率性を克服し、ストリーミングデータに対して現実的でないことを示す。
• 新しいエントリごとに最小限の計算コストで、動的かつ低ランク行列の推定値を維持する手法を開発する。
• 鞍点が存在するにもかかわらず、非凸SGDがオンライン行列補完設定において真の行列に収束することを理論的に保証する。
• SGDが鞍点を避け、効率的に収束することを示す一般化可能なフレームワークを提供する。これは行列補完をはるかに超える分野に応用可能である。

提案手法

• 行列補完を非凸最適化問題として定式化する：観測行列とその低ランク分解 $\mathbf{U}\mathbf{V}^\top$ の差のフロベニウスノルムを最小化する。
• 観測されたエントリ $(i,j)$ を受信した段階で、$\mathbf{U}$ の $i$-番目の行と $\mathbf{V}$ の $j$-番目の行のみを更新する確率的勾配降下法（SGD）を適用し、1回の更新コストが $O(k)$ となるように保証する。ここで $k$ はランクを表す。
• 収束速度と安定性のバランスを取るために、理論的境界が高確率解析を用いて導出された、慎重に選ばれたステップサイズ $\eta$ を使用する。
• 非一様性およびサンプリング条件の下で、誤差 $f(\mathbf{U}_t, \mathbf{V}_t) = \|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ の変化を追跡する新規な解析フレームワークを導入し、幾何的減少を示す。
• 潜在関数と条件付き期待値の境界を用いて、反復のずれを制御し、反復が高確率で鞍点から離れていることを証明する。
• アルゴリズムが $O(\kappa^3 \mu d k \log d)$ のサンプル複雑度と、行列サイズにほぼ線形な合計実行時間を達成することを証明する。ここで $\kappa$ は条件数、$\mu$ は非一様性、$d$ は次元を表す。

実験結果

リサーチクエスチョン

• RQ1 エントリが逐次的に公開されるオンライン行列補完において、非凸SGDに基づくアルゴリズムが証明可能に効率的であるか。
• RQ2 標準的な非一様性およびサンプリング仮定の下で、非凸SGDが鞍点を避けて真の低ランク行列に収束するか。
• RQ3 このようなオンラインアルゴリズムのサンプル複雑度と実行時間は、最先端のオフライン手法と比較してどの程度か。
• RQ4 この設定におけるSGDの収束解析を、類似した幾何的構造を示す他の非凸問題へ一般化できるか。
• RQ5 高確率で真の行列に収束する保証を維持しながら、合計実行時間をほぼ線形に保てるか。

主な発見

• 提案されたオンラインアルゴリズムは、行列サイズに対してほぼ線形の合計実行時間を達成し、具体的には $O(\kappa^3 \mu d k \log d)$ であり、スケーラビリティに優れる。
• アルゴリズムは証明可能な収束保証を有する：誤差 $\|\mathbf{U}_t\mathbf{V}_t^\top - \mathbf{M}\|_F^2$ は高確率で幾何的に減少する。
• 1回の更新が非常に効率的であり、1つの新しい観測値あたり $O(k)$ の演算しか必要としないため、ストリーミング環境におけるリアルタイム応用が可能である。
• 解析では、非凸低ランク行列回復問題におけるSGDが鞍点を避け、グローバル最小値に収束することを示す一般化可能なフレームワークを導入した。
• オフライン設定に適用した場合、提案手法はサンプル複雑度および実行時間の両面で最先端のオフライン手法と同等またはそれを上回る性能を示す。
• 理論的結果は標準的な仮定（真の行列の非一様性およびエントリの均等サンプリング）の下で成り立つため、広範な適用可能性を有する。