[論文レビュー] Convergence Analysis for Rectangular Matrix Completion Using Burer-Monteiro Factorization and Gradient Descent

Qinqing Zheng, John Lafferty|arXiv (Cornell University)|May 23, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用数 114

ひとこと要約

この論文は矩形行列補完の非凸リ lifted 形式を分析し、ほぼ最小限の観測数のもとで高確率で勾配降下法の線形収束を証明する。

ABSTRACT

We address the rectangular matrix completion problem by lifting the unknown matrix to a positive semidefinite matrix in higher dimension, and optimizing a nonconvex objective over the semidefinite factor using a simple gradient descent scheme. With $O( μr^2 κ^2 n \max(μ, \log n))$ random observations of a $n_1 imes n_2$ $μ$-incoherent matrix of rank $r$ and condition number $κ$, where $n = \max(n_1, n_2)$, the algorithm linearly converges to the global optimum with high probability.

研究の動機と目的

• 半正定値リフティングと因子化を用いて、低ランク構造を持つ矩形行列補完を動機づけて研究する。
• 半正定値因子上の非凸目的関数を導入し、スペクトル初期化を用いた勾配降下法を分析する。
• 真のリフティング解が同定可能であり、勾配降下法が幾何収束する条件を確立する。
• 秩、コヒーレンス、条件数の観点から、明示的なサンプル複雑度要件と収束速度を提供する。

提案手法

• X* を正定値半正定値 Y* にリフトし、Y*=Z Z^T と分解する。Z は R^{(n1+n2) x r}。
• リフティング誤差を測定する非凸目的関数 f(Z) を定式化し、列空間を整列させる正則化項を含める（λ=1/2）。
• 非相関性を保つために、集合 C への閉形式の非相関性射影を用いた射影勾配法を適用する。
• 初期化として p^{-1}P_Omega(X*) のトップランク因子からのスペクトル初期化を用いる。
• m >= c mu r^2 kappa^2 max(mu, log n) n 観測のもと、ベルヌーイ（または一様）サンプリングで解集合へ線形収束を証明する。
• 局所的正則性条件 RC を提供し、収束速度を μ, r, κ, p に依存させて示す。

実験結果

リサーチクエスチョン

• RQ1 ランダム観測の下で矩形低ランク行列 X* を同定的に回復するのに十分なサンプル複雑度は、μ, r, κ, n の観点でどれか。
• RQ2 スペクトルで初期化した場合、リフティングされた非凸目的関数上の勾配降下法は全体最適解へ線形収束するか、どのような条件下でか。
• RQ3 正則化項と非相関性制約が、矩形行列補完のリフティング Burer-Monteiro 因子化における収束と同定性にどのように影響するか。
• RQ4 提案手法が、行列補完における既存の凸法および非凸法と理論・実践の両面でどのように比較されるか。

主な発見

手法	複雑さ
GD	2mr+m+n^{2}r+4nr
SVP	O(n^{2}r)
OptSpace	O(mr^{3}+n^{2}r^{2}+nr^{4}+r^{6})
nuclear	O(n^{3})
AltMin	O(mr^{2})

• m >= c0 μ r^2 κ^2 max(μ, log n) n の観測を満たすと、勾配降下の反復は高確率でリフティング解へ幾何的収束する。
• スペクトル初期化により初期点が解集合の小さな近傍に配置され、適切なステップサイズと正則化の下で線形収束を可能にする。
• 正則化 λ=1/2 は収束を保証する局所正則性条件をもたらす；これが無いと収束挙動は異なる可能性がある。
• ベルヌーイサンプリングモデルでグローバル収束保証を達成し、サンプル複雑度は μ, r, κ, n に比例してスケールするが、明示された結果では所望の精度には依存しない。
• 実験結果は、提案された GD アプローチが SVP、OptSpace、核ノルム、トラストレジオン法と比較してスケーラビリティと実行時間の競争力を支持する。