[論文レビュー] Accelerated Gradient Descent Escapes Saddle Points Faster than Gradient Descent

Chi Jin, Praneeth Netrapalli+1 more|arXiv (Cornell University)|Nov 28, 2017

Stochastic Gradient Optimization Techniques被引用数 123

ひとこと要約

本論文はPerturbed Accelerated Gradient Descent (PAGD) を提案する。1ループのモーメンタムベースのアルゴリズムで、ε二次の停留点を概ね Õ(1/ε^{7/4}) 回の反復で見つけ、ヘッセ行列を用いない非凸最適化におけるGDの Õ(1/ε^{2}) より速い。

ABSTRACT

Nesterov's accelerated gradient descent (AGD), an instance of the general family of "momentum methods", provably achieves faster convergence rate than gradient descent (GD) in the convex setting. However, whether these methods are superior to GD in the nonconvex setting remains open. This paper studies a simple variant of AGD, and shows that it escapes saddle points and finds a second-order stationary point in $\ ilde{O}(1/\\epsilon^{7/4})$ iterations, faster than the $\ ilde{O}(1/\\epsilon^{2})$ iterations required by GD. To the best of our knowledge, this is the first Hessian-free algorithm to find a second-order stationary point faster than GD, and also the first single-loop algorithm with a faster rate than GD even in the setting of finding a first-order stationary point. Our analysis is based on two key ideas: (1) the use of a simple Hamiltonian function, inspired by a continuous-time perspective, which AGD monotonically decreases per step even for nonconvex functions, and (2) a novel framework called improve or localize, which is useful for tracking the long-term behavior of gradient-based optimization algorithms. We believe that these techniques may deepen our understanding of both acceleration algorithms and nonconvex optimization.

研究の動機と目的

• 非凸最適化におけるモーメンタム法の研究動機と鞍点からの脱出能力を促進すること。
• 勾配降下法より高速な二次停止点へ収束するヘッセ行列不要の単一ループアルゴリズムを開発すること。
• Hamiltonianベースの解析と新しい improve-or-localize フレームワークを導入して、非凸環境での加速を理解すること。

提案手法

• Perturbed Accelerated Gradient Descent (PAGD) を提案する。これは perturbation と Negative Curvature Exploitation (NCE) を組み込んだ AGD の変種である。
• Hamiltonian 関数 E_t = f(x_t) + (1/2η)||v_t||^2 を用いて、目的関数の非単調性にもかかわらず進捗を追跡する。
• 勾配が小さい場合にランダムな撹乱を加えて鞍点から脱出する。
• 二次的な不安定性が検出されたときに Negative Curvature Exploitation を開始して Hamiltonian を減少させる。
• エネルギー関数の降下を保証するように η、θ、γ、s、script T、半径 r を選ぶ。
• PAGD が Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 回の反復で ε-二次停止性を達成することを、高確率で証明する。

実験結果

リサーチクエスチョン

• RQ1 非凸設定において、モーメンタムベースの手法は二次停止性を狙う際に GD より速い収束をもたらすか。
• RQ2 ヘッセ行列フリーの単一ループアルゴリズムで、GD より高速に ε-二次停止点を見つけることが保障されるか。
• RQ3 Hamiltonian フレームワークと撹乱が、非凸最適化における加速法の進捗を分析・保証するのにどう役立つか。
• RQ4 どの機構（撹乱とネガティブカーネチャー・エクスプロイテーション）が strict saddle 点からの効率的な脱出を可能にするか。

主な発見

• PAGD は Õ(ℓ^{1/2}ρ^{1/4}(f(x_0)-f^*)/ε^{7/4}) 回の反復で ε-二次停止性を達成し、GD よりも速い。
• PAGD はヘッシアンフリーで単一ループであり、これまでのネストされたループのヘッシアンベース手法とは異なる。
• PAGD は非凸設定において標準 GD に対する第一要素停止点の収束速度を満たすか、または改良する。
• PAGD の下で単調に減少する計算可能な Hamiltonian の導入により、非凸最適化での進捗追跡を可能にする。
• 長期的な挙動と加速効果を分析するための improve-or-localize フレームワークの開発。
• 撹乱と Negative Curvature Exploitation の手順は実装が簡単で、Hamiltonian の減少を保証する。