[論文レビュー] Provable Accelerated Gradient Method for Nonconvex Low Rank Optimization

Huan Li, Zhouchen Lin|arXiv (Cornell University)|Feb 16, 2017

Sparse and Compressive Sensing Techniques参考文献 63被引用数 5

ひとこと要約

本稿では、行列を小さな要因に分解し、交互制約戦略を用いてネステロフ風の加速を適用することにより、非凸な低ランク行列最適化に対する証明可能な加速勾配法を提案する。局所的線形収束レートを達成し、条件数に最適な依存性 √(L/μ) を有するが、任意の初期化から臨界点にグローバルに収束する。

ABSTRACT

Optimization over low rank matrices has broad applications in machine learning. For large scale problems, an attractive heuristic is to factorize the low rank matrix to a product of two much smaller matrices. In this paper, we study the nonconvex problem $\min_{U\in\mathcal{R}^{n imes r}} g(U)=f(UU^T)$ under the assumptions that $f(X)$ is restricted $μ$-strongly convex and $L$-smooth on the set $\{X:X\succeq 0,rank(X)\leq r\}$. We propose an accelerated gradient method with alternating constraint that operates directly on the $U$ factors and show that the method has local linear convergence rate with the optimal dependence on the condition number of $\sqrt{L/μ}$. Globally, our method converges to the critical point with zero gradient from any initializer. Our method also applies to the problem with the asymmetric factorization of $X=\widetilde U\widetilde V^T$ and the same convergence result can be obtained. Extensive experimental results verify the advantage of our method.

研究の動機と目的

• 条件数に最適な依存性を有する、非凸的低ランク行列最適化のための加速勾配法を構築すること。
• 標準的な凸加速技術が直接適用できない非凸的低ランク問題における勾配法の加速という課題に取り組むこと。
• 行列因子分解によって生じる非凸性にもかかわらず、勾配がゼロの臨界点へのグローバル収束を保証すること。
• 収束保証を維持したまま、非対称因子分解（X = ŨṼᵀ）へとこの手法を拡張すること。
• 制限された強い凸性と極座標分解を用いた理論的収束レートの確立により、制約付き部分問題に古典的加速手法を適用可能にする。

提案手法

• 低ランク要因 U に対して直接作用する加速勾配法を提案し、適応的モーメンタムパラメータを用いたネステロフのモーメンタムスキームを採用する。
• 反復点を、UUᵀ が最適解に近い行列の集合へと射影する交互制約戦略を導入し、真の臨界点への収束を保証する。
• 軌道に沿って局所的制限付き強い凸性を確立するために極座標分解を用い、非凸問題に凸加速理論を適用可能にする。
• リャプノフ関数フレームワークを用いて収束を証明し、勾配降下ステップとモーメンタム項を組み合わせて収束を加速する。
• 安定性と収束を保証するためのステップサイズとモーメンタムパラメータの条件を導出する。γ と ν は L, μ, η, β_max の関数として定義される。
• 対称的（X = UUᵀ）および非対称的（X = ŨṼᵀ）因子分解の両方に対してこの手法を適用し、同一の収束保証を示す。

実験結果

リサーチクエスチョン

• RQ1 ネステロフ風の加速は、非凸的低ランク行列最適化問題に証明可能に適用可能か？
• RQ2 加速された手法は、条件数 √(L/μ) に最適な依存性を有する収束速度を達成するか？
• RQ3 行列因子分解によって生じる非凸性にもかかわらず、臨界点へのグローバル収束を保証できるか？
• RQ4 交互制約戦略は、制約付き問題の局所的最小値ではなく真の解への収束をどのように保証するか？
• RQ5 収束理論は非対称的低ランク因子分解へと拡張可能か？

主な発見

• 提案手法は、√(L/μ) に依存する局所的線形収束を達成し、これは条件数依存性において最適である。
• 任意の初期化から勾配がゼロの臨界点へのグローバル収束が保証され、非凸な設定下でも成立する。
• 対称的および非対称的低ランク因子分解の両方において、同一の収束レートを維持する。
• 収束解析は、極座標分解を用いた制限付き強い凸性の確立に依存し、凸加速技術の適用を可能にする。
• 理論的保証は、標準的勾配法よりも優れた性能を示す広範な実験結果によって裏付けられる。
• ステップサイズとモーメンタムパラメータの導出条件のもとで、手法は安定であり、収束を保証するように γ と ν が定義される。