[論文レビュー] Third-order Smoothness Helps: Even Faster Stochastic Optimization Algorithms for Finding Local Minima

Yaodong Yu, Pan Xu+1 more|arXiv (Cornell University)|Dec 18, 2017

Sparse and Compressive Sensing Techniques参考文献 28被引用数 3

ひとこと要約

本稿では、非凸問題における局所的最小値への収束を加速するために、3階微分可能性を活用する新しい確率的最適化アルゴリズムを提案する。高階の滑らかさを活用することで、1階オракルのみを用い、高価な負の曲率計算を最小限に抑える中で、勾配の複雑度が Õ(ϵ⁻¹⁰ᐟ³) に改善され、従来の最先端手法が必要とする Õ(ϵ⁻⁷ᐟ²) の評価よりも顕著な高速化を達成する。

ABSTRACT

We propose stochastic optimization algorithms that can find local minima faster than existing algorithms for nonconvex optimization problems, by exploiting the third-order smoothness to escape non-degenerate saddle points more efficiently. More specifically, the proposed algorithm only needs $ ilde{O}(ε^{-10/3})$ stochastic gradient evaluations to converge to an approximate local minimum $\mathbf{x}$, which satisfies $\| abla f(\mathbf{x})\|_2\leqε$ and $λ_{\min}( abla^2 f(\mathbf{x}))\geq -\sqrtε$ in the general stochastic optimization setting, where $ ilde{O}(\cdot)$ hides logarithm polynomial terms and constants. This improves upon the $ ilde{O}(ε^{-7/2})$ gradient complexity achieved by the state-of-the-art stochastic local minima finding algorithms by a factor of $ ilde{O}(ε^{-1/6})$. For nonconvex finite-sum optimization, our algorithm also outperforms the best known algorithms in a certain regime.

研究の動機と目的

• 非凸問題において、計算コストを低減しつつ局所的最小値を効率的に探索する高速な確率的最適化アルゴリズムの設計。
• 目的関数の3階微分可能性を活用して、非退化な鞍点からの脱出を加速すること。
• 1階オーケストラに依存しながら、既存の確率的局所的最小値探索アルゴリズムを上回る収束速度を達成すること。
• 高次元かつ大規模な設定において、高価な負の曲率降下ステップと勾配評価の回数を最小限に抑えること。

提案手法

• 1階確率的勾配降下法と、3階微分可能性を活用してより大きなステップサイズを可能にする新規の負の曲率降下ステップを統合する。
• 3階微分可能性を用いて収束速度を向上させた、立方体正則化法の確率的変種を用いる。
• 外側の反復毎に、SCSG（確率的制御付き確率的勾配）エポックと1回の負の曲率降下ステップの間で動的に切り替える。
• 勾配ノルムが大きい反復回数を制御するための新しい解析フレームワークを開発し、集中不等式と3階微分可能性を用いて誤差項を制御する。
• 負の曲率方向の効率的計算に、オンラインOja法およびFastPCA/Neon2を採用する。
• 理論的解析により、(ϵ, ϵH)-2階静止点への収束が保証され、勾配複雑度が向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 目的関数の3階微分可能性を活用することで、確率的非凸最適化における鞍点からの脱出を加速できるか？
• RQ2 確率的局所的最小値探索アルゴリズムに3階微分可能性を適用した場合、理論的勾配複雑度にどの程度の改善が得られるか？
• RQ3 立方体部分問題を解かずに、1階オーケストラをより効率的に使って負の曲率方向を近似できるか？
• RQ4 高価な負の曲率計算の回数を減らしつつ、局所的最小値への高速収束を維持できるか？

主な発見

• 提案アルゴリズムは、(ϵ, ϵH)-2階静止点を求めるにあたり、Õ(ϵ⁻¹⁰ᐟ³) の勾配評価回数を達成し、最先端の Õ(ϵ⁻⁷ᐟ²) の複雑度を Õ(ϵ⁻¹ᐟ⁶) の要因で上回る。
• 有限和問題では、Õ(n²ᐟ³ϵ⁻² + nϵH⁻² + n³ᐟ⁴ϵH⁻⁵ᐟ²) の勾配評価回数を要し、特定のパrameter領域では既存手法を上回る性能を示す。
• 反復ごとの負の曲率降下ステップ数を最大1回に抑えることで、複数回のステップを要する手法と比較して、計算オーバーヘッドを顕著に低減する。
• 3階微分可能性を活用することで、負の曲率降下の際のステップサイズを大きく可能にし、収束速度の向上と反復効率の向上を実現する。
• 理論的解析により、標準的な滑らかさとノイズの仮定のもとで、アルゴリズムが高確率で局所的最小値に収束することが証明され、メインループの実行時間複雑度は Õ(L³Δf/ϵH²)、負の曲率計算の複雑度は Õ(L²₁L³Δf/ϵH⁴) で有界であることが示された。