[論文レビュー] NEON+: Accelerated Gradient Methods for Extracting Negative Curvature for Non-Convex Optimization

Yi Xu, Rong Jin+1 more|arXiv (Cornell University)|Dec 4, 2017

Stochastic Gradient Optimization Techniques参考文献 16被引用数 8

ひとこと要約

本稿では、非凸最適化における鞍点からの高速脱出を可能にするためにネステロフのモーメンタムを活用する、加速勾配法NEON+を提案する。これは、負の曲率を効率的に抽出することで、第二階微分定常点に到達するための反復複雑度を Õ(1/ε^1.75) まで近似的に最適化し、標準勾配降下法を上回り、Hessianを用いない最良の既知の手法と同等の性能を達成する。

ABSTRACT

Accelerated gradient (AG) methods are breakthroughs in convex optimization, improving the convergence rate of the gradient descent method for optimization with smooth functions. However, the analysis of AG methods for non-convex optimization is still limited. It remains an open question whether AG methods from convex optimization can accelerate the convergence of the gradient descent method for finding local minimum of non-convex optimization problems. This paper provides an affirmative answer to this question. In particular, we analyze two renowned variants of AG methods (namely Polyak's Heavy Ball method and Nesterov's Accelerated Gradient method) for extracting the negative curvature from random noise, which is central to escaping from saddle points. By leveraging the proposed AG methods for extracting the negative curvature, we present a new AG algorithm with double loops for non-convex optimization~\footnote{this is in contrast to a single-loop AG algorithm proposed in a recent manuscript~\citep{AGNON}, which directly analyzed the Nesterov's AG method for non-convex optimization and appeared online on November 29, 2017. However, we emphasize that our work is an independent work, which is inspired by our earlier work~\citep{NEON17} and is based on a different novel analysis.}, which converges to second-order stationary point $\x$ such that $\| abla f(\x)\|\leq ε$ and $ abla^2 f(\x)\geq -\sqrtε I$ with $\widetilde O(1/ε^{1.75})$ iteration complexity, improving that of gradient descent method by a factor of $ε^{-0.25}$ and matching the best iteration complexity of second-order Hessian-free methods for non-convex optimization.

研究の動機と目的

• 凸最適化における加速勾配法が非凸設定でも収束を加速できるかどうかという未解決の問いに応えること。
• 鞍点からの脱出を効率的に同定・活用する第一階微分アルゴリズムを開発すること。
• 標準勾配降下法よりも第二階微分定常点への収束速度を速めること。
• Hessianを計算しないで、第一階微分情報のみを用いて、Hessianフリーの第二階微分法の最良の既知の反復複雑度を達成すること。

提案手法

• 本手法は、Hessian近似におけるランダムノイズから負の曲率を抽出するためにネステロフの加速勾配（NAG）フレームワークを用いる。
• 内側のループでNAGを用いて負の曲率を抽出し、外側のループで反復点を第二階微分定常点へ更新する二重ループ構造を導入する。
• 曲率の変動を制限し収束安定性を保証するために、Hessian-リプシッツ条件を用いる。
• NAGダイナミクスを介したHessian-ベクトル積の分析により、負の曲率方向を強調することで負の曲率を抽出する。
• 明示的なHessian計算を避けて、勾配評価とランダムノイズの注入に依存する。
• 滑らかさとリプシッツHessian条件の下で収束を分析し、非凸性に対して頑健であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 凸最適化における加速勾配法が非凸問題の収束を加速できるように適応可能か？
• RQ2 ネステロフのモーメンタムが鞍点からの脱出に向けた負の曲率を効果的に抽出するために有効に使えるか？
• RQ3 第一階微分法が非凸最適化において第二階微分定常点に到達するための最適な反復複雑度は何か？
• RQ4 Hessianの計算を伴わずに、標準勾配降下法を上回る収束速度を達成できるか？

主な発見

• NEON+ は、第二階微分定常点に到達する反復複雑度を Õ(1/ε^1.75) に達成し、ここで ∥∇f(x)∥ ≤ ε かつ ∇²f(x) ≥ −√εI が成り立つ。
• この複雑度は、標準勾配降下法よりも ε^−0.25 の要因で向上し、収束が著しく高速化される。
• 本手法は、Hessianを計算しない第二階微分法の最良の既知の反復複雑度と同等の性能を達成するが、第一階微分情報のみを用いる。
• 明示的なHessian計算を避けて、勾配評価とランダムノイズの注入のみで負の曲率を効果的に抽出できた。