[論文レビュー] On the Sublinear Convergence of Randomly Perturbed Alternating Gradient Descent to Second Order Stationary Solutions

Songtao Lu, Mingyi Hong+1 more|arXiv (Cornell University)|Feb 28, 2018

Stochastic Gradient Optimization Techniques参考文献 32被引用数 4

ひとこと要約

本稿では、非凸最適化における第二階停留解（SS2）へのグローバルな部分線形収束を達成する、摂動を加えた交互勾配降下法（PA-GD）を提案する。2つの変数ブロックの交互更新中にランダムな摂動を注入することにより、PA-GDは厳密なサドルポイントを脱出し、高確率で $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 回の反復で収束する。これは、交互型手法におけるこのような結果の最初のものである。

ABSTRACT

The alternating gradient descent (AGD) is a simple but popular algorithm which has been applied to problems in optimization, machine learning, data ming, and signal processing, etc. The algorithm updates two blocks of variables in an alternating manner, in which a gradient step is taken on one block, while keeping the remaining block fixed. When the objective function is nonconvex, it is well-known the AGD converges to the first-order stationary solution with a global sublinear rate. In this paper, we show that a variant of AGD-type algorithms will not be trapped by "bad" stationary solutions such as saddle points and local maximum points. In particular, we consider a smooth unconstrained optimization problem, and propose a perturbed AGD (PA-GD) which converges (with high probability) to the set of second-order stationary solutions (SS2) with a global sublinear rate. To the best of our knowledge, this is the first alternating type algorithm which takes $\mathcal{O}( ext{polylog}(d)/ε^{7/3})$ iterations to achieve SS2 with high probability [where polylog$(d)$ is polynomial of the logarithm of dimension $d$ of the problem].

研究の動機と目的

• 非凸最適化における交互勾配降下法（AGD）が、保証されたグローバルレートで第二階停留解（SS2）に収束できるかどうかという未解決問題に取り組む。
• ランダムな摂動を組み込むことで、AGDの変種を設計し、厳密なサドルポイントおよび局所的最大点を脱出可能にする。
• 滑らかさおよびヘッセ行列の有界性の仮定の下で、提案された摂動付きアルゴリズムがSS2へのグローバルな部分線形収束レートを確立する。
• アルゴリズムが次元の対数的依存性を除き次元に依存しない反復複雑度で、高確率でSS2に収束することを示す。

提案手法

• 2つの変数ブロックに対して交互に勾配ステップを実行するとともに、各ブロック更新後に独立した等方的ガウスノイズを注入する。
• 勾配ノルムが小さい場合に、負の曲率情報を利用し、厳密なサドルポイントからの脱出を保証するように摂動をスケーリングする。
• 有界ノルムの仮定の下で、ヘッセ行列のリプシッツ定数とブロック単位の勾配リプシッツ連続性を制限する。
• リャプノフ関数と確率的議論を用いて、SS2への高確率収束を示す理論的保証を導出する。
• 潜在関数の減少が部分線形であることを用いて反復複雑度を分析し、摂動が非SS2点での停止を防ぐ。
• 多項式および二次形式を含む、2回微分可能関数を対象とする非凸問題のクラスにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 交互勾配降下法（AGD）は、保証されたグローバルレートで厳密なサドルポイントを脱出し、第二階停留解に収束できるか？
• RQ2 非凸最適化において、摂動付きの交互法がSS2に到達するための最適な反復複雑度は何か？
• RQ3 ランダムな摂動は、AGDの局所的最大点およびサドルポイントからの脱出挙動にどのように影響するか？
• RQ4 問題の次元に依存しない収束レートを、多項式対数的要因を除き境界づけることができるか？
• RQ5 摂動戦略は、部分線形収束レートを維持するとともに、高確率でSS2に収束することを保証できるか？

主な発見

• 提案されたPA-GDアルゴリズムは、高確率で $\mathcal{O}(\text{polylog}(d)/\epsilon^{7/3})$ 回の反復で第二階停留解の集合に収束する。
• 勾配ノルムが小さい場合でも、ランダムな摂動の注入により、厳密なサドルポイントからの脱出に成功する。
• 収束レートはグローバルに部分線形であり、標準的勾配法の既知のレートと一致するが、解の品質が向上（SS1ではなくSS2に到達）。
• 変数のノルムが有界である限り、ヘッセ行列のリプシッツ条件を満たし、摂動ダイナミクスの理論的解析を可能にする。
• 数値実験により、PA-GDは特に勾配が消える原点付近で、標準的なAGDよりも速くサドルポイントを脱出することが確認された。
• 二階微分情報や高価なヘッセ行列計算を必要としないため、高次元問題へのスケーラビリティを実現する。