[論文レビュー] Matrix Completion has No Spurious Local Minimum

Rong Ge, Jason D. Lee+1 more|arXiv (Cornell University)|May 24, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 186

ひとこと要約

本論文は、対称で半正定値な行列補完の非凸目的関数にはスプリアスな局所最小値が存在せず、すべての局所最小値はグローバル最小値であることを証明する。これにより、任意の初期化からSGD/勾配法を用いてノイズのある観測データでも基礎となる低ランク行列を見つけることが可能になる。

ABSTRACT

Matrix completion is a basic machine learning problem that has wide applications, especially in collaborative filtering and recommender systems. Simple non-convex optimization algorithms are popular and effective in practice. Despite recent progress in proving various non-convex algorithms converge from a good initial point, it remains unclear why random or arbitrary initialization suffices in practice. We prove that the commonly used non-convex objective function for extit{positive semidefinite} matrix completion has no spurious local minima --- all local minima must also be global. Therefore, many popular optimization algorithms such as (stochastic) gradient descent can provably solve positive semidefinite matrix completion with extit{arbitrary} initialization in polynomial time. The result can be generalized to the setting when the observed entries contain noise. We believe that our main proof strategy can be useful for understanding geometric properties of other statistical problems involving partial or noisy observations.

研究の動機と目的

• 実践的な非凸行列補完法がランダムな初期値や任意の初期値から成功する理由を調査する。
• 部分的・ノイズのある観測下でのPSD行列補完における非凸目的関数の幾何を特徴づける。
• すべての局所最小値がグローバル最小値となる条件を確立し、勾配ベース法の収束保証を提供する。

提案手法

• 観測集合 Ω と不整合性を強制する正則化項 R(X) を用いた正則化された非凸目的 f(X) を分析する。
• 正則化された目的の局所最小値はすべて真の低ランク解 ZZ^T に対応することを示す。すなわち f(X)=0 かつ XX^T=ZZ^T=M。
• 一階および二階の最適性条件と濃度不等式を用いて、部分観測を全観測の挙動と関連づける。
• 観測指標 1_Omega に線形な不等式に焦点を当てることで、単純で一般化可能な証明戦略を導入する（サンプリングに頑健な手法）。
• 最初に形式的なランク1解析を提供し、次に類似の議論と τ-緩和された二階条件を用いて一般のランク r に拡張し、収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸PSD行列補完目的の局所最小値がグローバル最適解と一致するのはどの条件下か。
• RQ2 部分的/ノイズのある観測が解の形状にどう影響するか、正則化はスプリアスな最小値を避ける望ましい幾何を強制できるか。
• RQ3 勾配ベースの手法（SGDを含む）は任意の初期化から多項式時間でグローバル最小値へ収束できるか。
• RQ4 提案手法はランク1から一般のランク r へのPSD行列補完へどのように拡張されるか。

主な発見

• 適切なサンプリング（p）と不整合性パラメータの下で、正則化された目的の局所最小値は真の因子分解 XX^T=ZZ^T=M にのみ発生する。
• 高い確率で、任意の初期値からの SGD/勾配降下法は多項式時間でグローバル最小値へ収束する。
• ノイズに対して頑健であり、観測が制御された大きさのガウスノイズで破損しても、すべての局所最小値は真の解に近い。
• τ緩和された二階条件は、既知の最適化理論の結果を用いてグローバル最小値への収束を保証するのに十分である。
• この証明戦略はマトリクス補完を超え、部分的またはノイズのある観測を伴う他の問題にも一般化できる。