[論文レビュー] Global Optimality of Local Search for Low Rank Matrix Recovery

Srinadh Bhojanapalli, Behnam Neyshabur+1 more|arXiv (Cornell University)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 158

ひとこと要約

この論文は、非凸因子分解による低ランク行列回復において incoherence RIP 条件の下で偽の局所解が存在しないことを証明し、ランダム初期化からの SGD がノイズ無し設定およびノイズあり設定で多項式時間でグローバル最適解へ収束することを示す。

ABSTRACT

We show that there are no spurious local minima in the non-convex factorized parametrization of low-rank matrix recovery from incoherent linear measurements. With noisy measurements we show all local minima are very close to a global optimum. Together with a curvature bound at saddle points, this yields a polynomial time global convergence guarantee for stochastic gradient descent {\em from random initialization}.

研究の動機と目的

• 秩制約を課した非凸因子分解を用いたマトリックスセンシング問題を動機づけ、分析する。
• incoherence および RIP 風条件の下で偽の局所極小値の不存在を確立する。
• サドル点には負の曲率を持つことを示し、ランダムな初期点からの SGD が多項式時間でグローバル最適解へ収束することを可能にする。
• ノイズありおよび概ね低ランクな場合へ結果を拡張する。
• 凸緩和と比較し、初期化と最適化の実用的な意味を論じる。

提案手法

• U ∈ R^{n×r} による、ランク制約付きの因子化目的関数 f(U) = ||A(UU^T) − y||^2 を研究する。
• 測定演算子 A が (2r, δ_{2r})-RIP を満たすと仮定し、δ_{2r} < 1/5（ノイズ無し）または < 1/10（ノイズ有り）。
• 1次および2次最適性を用いて局所極小値を特徴づけ、直交変換 R によって U をグローバル最適解 U* に整合させる。
• 偽の局所極小値が存在しないことを証明: y = A(X*) かつ rank(X*) ≤ r なら、任意の局所極小値において U U^T = X*（ノイズなしの場合）。
• 厳密なサドル性質を示す: 非グローバル臨界点におけるヘシアンの最小固有値は負であり、ランダム初期化からの SGD が多項式時間でグローバル最適解に到達できる。
• 近似的な低ランクおよびノイズのある場合へ拡張し、局所極小値がノイズと近似誤差に依存する境界で X* または X*_r に近いことを示す。

実験結果

リサーチクエスチョン

• RQ1 incoherence/RIP 条件の下で、非凸因子分解型のマトリックスセンシング問題に偽の局所極小値は存在するか？
• RQ2 ランダム初期化から SGD がグローバル最適解へ収束できるか？
• RQ3 ノイズのある測定と近似的な低ランク性が局所極小値の品質と位置にどう影響するか？
• RQ4 局所探索のグローバル最適性が保証される正確な条件（RIP 定数、秩、ノイズレベル）は何か？
• RQ5 サンプル複雑性と必要条件の観点から、これらの結果を凸緩和と比較するとどうなるか？

主な発見

• δ_{2r} < 1/5（ノイズ無し）または δ_{2r} < 1/10（ノイズ有り）で、(2r, δ_{2r})-RIP の下、すべての局所極小値 U は U U^T = X* を満たす（ノイズ無しの場合は完全回復）。
• ノイズがある場合、すべての局所極小値は真の因子分解 X* = U*U*^T に近く、誤差はノイズと測定に比例する項で境界付けられる。
• すべてのサドル点は負の曲率方向を持ち、脱出を可能にし、ランダム初期化からの SGD がグローバル最適解へ多項式時間で収束する（厳密サドルに対する既存の SGD 結果により）。
• 近似的な低ランク X* に対して、局所極小値は ||UU^T − X*||_F が、最良の rank-r 近似誤差 ||X* − X_r*||_F および δ_{2r} · ||X* − X_r*||_* に依存する関数で境界付けられる。
• 必要な RIP 条件と測定数（Gaussian 測定で O(nr)）は、従来の保証と比べて緩やかまたは同程度で、定数を除けば最適なサンプル複雑性に一致する。
• 結果は、グローバル収束のために SVD による初期化が必須ではないことを示し、理論と実務的な局所探索法を整合させる。