[論文レビュー] Nonconvex Rectangular Matrix Completion via Gradient Descent without $\ell_{2,\infty}$ Regularization

Ji Chen, Dekai Liu+1 more|arXiv (Cornell University)|Jan 18, 2019

Sparse and Compressive Sensing Techniques参考文献 45被引用数 9

ひとこと要約

本稿では、ℓ₂,∞正則化を用いない、vanilla勾配降下法を用いた非凸な長方形行列補完手法を提示する。従来の研究と比較して、大幅に改善されたサンプリングレート O(μ²r²κ¹⁴log n / n) の下で正確な回復を達成する。解析は、正定値行列に関する先行研究を拡張し、正則化の必要性を回避しつつ、洗練された1つずつ除外する分析（leave-one-out analysis）を用いて理論的保証を維持する、新しい技術的ツールを導入する。

ABSTRACT

The analysis of nonconvex matrix completion has recently attracted much attention in the community of machine learning thanks to its computational convenience. Existing analysis on this problem, however, usually relies on $\ell_{2,\infty}$ projection or regularization that involves unknown model parameters, although they are observed to be unnecessary in numerical simulations, see, e.g., Zheng and Lafferty [2016]. In this paper, we extend the analysis of the vanilla gradient descent for positive semidefinite matrix completion proposed in Ma et al. [2017] to the rectangular case, and more significantly, improve the required sampling rate from $O(\operatorname{poly}(κ)μ^3 r^3 \log^3 n/n )$ to $O(μ^2 r^2 κ^{14} \log n/n )$. Our technical ideas and contributions are potentially useful in improving the leave-one-out analysis in other related problems.

研究の動機と目的

• 従来の研究で理論的に必要とされるが、数値的には効果のないℓ₂,∞正則化を非凸行列補完から排除すること。
• 正定値行列から一般の長方形低ランク行列補完へ、vanilla勾配降下法の理論的解析を拡張すること。
• 従来の O(poly(κ)μ³r³log³n / n) から O(μ²r²κ¹⁴log n / n) にまで、必要なサンプリング複雑度を改善し、条件数やランクへの依存を顕著に低減すること。
• 非凸行列補完に適用可能で、他の低ランク回復問題へも応用可能な、洗練された1つずつ除外する分析技術を開発すること。

提案手法

• 低ランク因子分解 M ≈ XYᵀ に基づく非凸最適化問題を提案し、観測済みエントリの最小二乗損失をℓ₂,∞正則化なしに最小化する。
• 投影操作や正則化に依存しない、スペクトル初期化を用いたvanilla勾配降下法を採用する。
• 反復の進捗を制御し、反復値と真の因子との乖離を束縛するために、新しい1つずつ除外する分析フレームワークを導入する。
• 反復値 Xᵗ⁽ˡ⁾, Yᵗ⁽ˡ⁾ を真の因子と整合させるために回転行列 Rᵗ⁽ˡ⁾ を用い、直交プロクラウス問題を介して比較を可能にする。
• ランダム行列理論と非一様性仮定を用いて、勾配およびヘッセ行列の濃縮境界を確立する。
• 回転下での真の値と推定値の差分を分析することで、因子行列における誤差の再帰的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 vanilla勾配降下法は、ℓ₂,∞正則化や投影操作なしに、長方形低ランク行列補完で正確な行列回復を達成できるか？
• RQ2 正則化なしの非凸最適化を用いた場合、正確な回復に必要な最小サンプリングレートは何か？
• RQ3 行列の条件数や非一様性が収束性およびサンプリング複雑度にどのように影響するか？
• RQ4 1つずつ除外する分析技術は、正則化なしの非凸行列補完に拡張可能か？
• RQ5 実際の数値計算では正則化が効果を持たないにもかかわらず、非凸行列補完における正則化の理論的役割は何か？

主な発見

• 本稿では、ℓ₂,∞正則化なしにvanilla勾配降下法を用いて、O(μ²r²κ¹⁴log n / n) のサンプリングレートの下で低ランク行列の正確な回復を確立した。
• 改善されたサンプリングレートにより、条件数κに関する依存が poly(κ) から κ¹⁴ にまで低下し、顕著な理論的改善が達成された。
• 解析により、収束性や正確な回復のためにはℓ₂,∞正則化が不要であることが示され、長年の理論的ギャップが解消された。
• 本研究で開発された1つずつ除外する分析技術は、低ランク行列回復における非凸最適化の解析に新たなフレームワークを提供する。
• スペクトル初期化と適切なステップサイズのもとで、グローバル最小値への収束が達成され、誤差伝搬の明示的境界が得られた。