[論文レビュー] Accelerated Methods for Non-Convex Optimization

Yair Carmon, John C. Duchi+2 more|arXiv (Cornell University)|Nov 2, 2016

Sparse and Compressive Sensing Techniques参考文献 35被引用数 55

ひとこと要約

本稿では、非凸最適化のためのヘシアンフリーな加速勾配法を提示しており、$O(\tilde{O}(\mathrm{poly}(L_1, L_2, \triangle_f)\mathrm{polylog}(1/\theta)\theta^{-7/4}))$ の収束速度を達成し、$\epsilon$-停留点を求める。ここで $L_1$ と $L_2$ は勾配とヘシアンのリプシッツ定数であり、$\triangle_f$ は初期関数値ギャップである。この手法は、$\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$ を満たすことで、2次停留性を保証する。勾配とヘシアン・ベクター積みのみに依存するため、大規模問題に適している。

ABSTRACT

We present an accelerated gradient method for non-convex optimization problems with Lipschitz continuous first and second derivatives. The method requires time $O(ε^{-7/4} \log(1/ ε) )$ to find an $ε$-stationary point, meaning a point $x$ such that $\| abla f(x)\| \le ε$. The method improves upon the $O(ε^{-2} )$ complexity of gradient descent and provides the additional second-order guarantee that $ abla^2 f(x) \succeq -O(ε^{1/2})I$ for the computed $x$. Furthermore, our method is Hessian free, i.e. it only requires gradient computations, and is therefore suitable for large scale applications.

研究の動機と目的

• 勾配情報のみが利用可能な状況で、勾配降下法の収束速度を $O(\epsilon^{-2})$ を超えて改善すること。
• 明示的なヘシアン計算なしに、2次停留点（つまり、勾配が小さく、ヘシアンが下から有界な点）に到達する1次法を提供すること。
• 勾配とヘシアン・ベクター積み評価にのみ依存することで、大規模問題に適したスケーラブルなアルゴリズムを設計すること。
• 精度に多項式的依存、次元に対数的依存する形で、2次停留点への収束を達成すること。

提案手法

• 本手法は、ネステロフ風の加速と局所正則化技術を組み合わせており、現在の反復点の近傍で強い凸性を強制するように目的関数を変更する。
• ヘシアン・ベクター積みオラクルを用いて、関数の局所的2次モデルを構築し、完全なヘシアンを構成せずに探索方向を効率的に計算可能にする。
• アルゴリズムは、勾配が小さい点を見つけるための勾配降下フェーズと、強い凸性パラメータ $\sigma_1$ を持つ正則化された部分問題に加速勾配降下を適用する2番目のフェーズを交互に実行する。
• 重要な要素として、$f_+(x) = f(x) + L_1[\|x - x_+\| - \sigma_1/(4L_2)]_+^2$ と定義される修正関数が挙げられ、これは $x_+$ の近傍で $f$ と一致する強い凸関数であり、局所最小値への高速収束を可能にする。
• 本手法は、最終点におけるヘシアンが $\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$ を満たすことを保証し、2次保証を提供する。
• 全体の実行時間は、$\widetilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \epsilon^{-7/4})$ の勾配およびヘシアン・ベクター積み評価回数で抑えられる。

実験結果

リサーチクエスチョン

• RQ1 勾配情報のみが利用可能な状況で、非凸最適化の1次法の収束速度を $O(\epsilon^{-2})$ を超えて改善できるか。
• RQ2 勾配とヘシアン・ベクター積み情報のみで、2次停留性（つまり、勾配が小さく、ヘシアンが下から有界）を達成できるか。
• RQ3 加速勾配法を非凸問題に適応させ、ヘシアンフリーの計算を維持したまま、より速い収束を達成できるか。
• RQ4 非凸最適化において、勾配滑らかさ、ヘシアン滑らかさ、収束速度の間の最適なトレードオフは何か。

主な発見

• 提案手法は、$O(\tilde{O}(\Delta_f L_1^{1/2} L_2^{1/4} \epsilon^{-7/4}))$ 回の反復で $\epsilon$-停留点を達成し、標準的勾配降下法の $O(\epsilon^{-2})$ 複雑さを上回る。
• 本手法は、計算された点におけるヘシアンが $\nabla^2f(x) \succeq -O(\epsilon^{1/2})I$ を満たすことを保証し、2次停留性を確保する。
• 厳密なサドル関数に対しては、2次保証のおかげで、局所最小値への線形収束が達成される。
• ヘシアンフリーであり、勾配とヘシアン・ベクター積み評価のみに依存するため、大規模問題に適している。
• 点 $x$ に対して $\|\nabla f(x)\| \leq \epsilon$ および $\|x - x^\star_+\| \leq 2\epsilon / \sigma_1$ を満たすことが保証され、ここで $x^\star_+$ は局所最小値である。
• 関数的サブ最適性は $f(x) - f(x^\star_+) \leq 2L_1 \epsilon^2 / \sigma_1^2$ で抑えられ、局所最小値に近いことを保証する。