[論文レビュー] Natasha 2: Faster Non-Convex Optimization Than SGD

Zeyuan Allen-Zhu|arXiv (Cornell University)|Aug 29, 2017

Advanced Bandit Algorithms Research被引用数 53

ひとこと要約

Natasha 2 は、滑らかで非凸な最適化において近似局所最小を見つける際に SGD よりも速く収束するオンライン確率的方法を導入し、Oja のアルゴリズムによる負の曲率ステップと一階更新を交互に用いることで、好条件下で T = eO(1/ε3.25) を達成します。

ABSTRACT

We design a stochastic algorithm to train any smooth neural network to $\varepsilon$-approximate local minima, using $O(\varepsilon^{-3.25})$ backpropagations. The best result was essentially $O(\varepsilon^{-4})$ by SGD. More broadly, it finds $\varepsilon$-approximate local minima of any smooth nonconvex function in rate $O(\varepsilon^{-3.25})$, with only oracle access to stochastic gradients.

研究の動機と目的

• 滑らかな非凸目的関数に対して ε-近似局所最小を見つける際に SGD より優れるオンラインアルゴリズムの設計を動機づける。
• 収束を加速させるために有限な非凸性（σ）と負の曲率方向を活用する。
• 全勾配やヘシアンを用意せずに、オンラインで曲率情報を活用する Natasha1.5 および Natasha2 を開発する。
• 既存のオンライン手法に対する理論的保証と勾配（およびヘシアン）計算の漸近的複雑性の改善を提供する。

提案手法

• 再投影項を用いて更新を安定化し、σ 有界非凸性を活用する Natasha1.5（Natasha1 のオンライン変種）を導入する。
• 鞍点を検出したときに負の曲率ステップを行うため、Natasha1.5 と Oja のオンラインアルゴリズムを組み合わせる。
• 修正関数上で Natasha1.5 を用いて安全に目的関数を低減することと、負の曲率を用いて脱出することを交互に行うことで Natasha2 を形式的に定義する。
• 標準的な滑らかさと σ 有界非凸性の仮定の下で、ε-近似停留点および (ε, δ)-近似局所最小への収束を証明する。
• 凸関数 ψ を用いた F(x)=ψ(x)+f(x) の最小化のための近接拡張を提供する。
• 既存の SGD/SCSG/NEON ベースの手法とオンラインレートを比較する。

実験結果

リサーチクエスチョン

• RQ1 オンライン確率的方法は σ 有界非凸性を活用して SGD を超える収束を加速できるか。
• RQ2 負の曲率方向と一階勾配更新を組み合わせてオンラインで信頼性よく鞍点から脱出することは可能か。
• RQ3 鞍点からの脱出と近似局所最小への収束を保証つきで交互に行うオンラインアルゴリズムをどのように設計できるか。
• RQ4 このようなオンラインスキームの勾配計算および（該当する場合）ヘシアンベクトル積の計算量は、既存の手法と比較してどうか。

主な発見

アルゴリズム	勾配計算量 T	分散界	リプシッツ滑らかさ	2次の滑らかさ	凸性のみ
SGD1	O(ε−2.667)	needed	needed	no	no
SGD2	O(ε−2.5)	♯ needed	needed	no	no
SGD3	eO(ε−2)	♯ needed	needed	no	no
SGD (folklore)	O(ε−4)	(Appendix B)	needed	needed	no
SCSG	O(ε−3.333)	needed	needed	no	no
Natasha1.5	O(ε−3 + σ1/3 ε−3.333)	(Theorem 1)	needed	needed	no
SGD4	eO(ε−2 + σε−4)	♯	needed	needed	no
perturbed SGD	eO(ε−4 · poly(d))	⋄	needed	needed	needed
Natasha2	eO(ε−3.25)	(Theorem 2)	needed	needed	needed
NEON + SGD	eO(ε−4)	♯	needed	needed	needed
cubic Newton	eO(ε−3.5)	♯	needed	needed	needed
SGD5	eO(ε−3.5)	♯	needed	needed	needed
NEON + SCSG	eO(ε−3.333)	♯	needed	needed	needed

• Natasha1.5 は σ 有界非凸性と滑らかさの下で online gradient complexity T = Θ(L2/3 σ1/3 ε10/3) を達成し、従来のオンラインレートを改善する。
• Natasha2 は Oja のオンライン固有ベクトル探索器と Natasha1.5 を組み合わせて、∥∇f(x)∥ ≤ ε および ∇2f(x) ⪰ −δI を満たす ε-近似局所最小を T = eO(1/δ5 + 1/(δ ε3) + 1/ε3.25) で見つけるオンラインアルゴリズムを得る。
• 系は、(ε, ε1/4)-近似局所最小に対して T = eO(ε−3.25)、(ε, ε1/2)-近似局所最小に対して T = eO(ε−3.5) を示し、いくつかの従来のオンライン手法を上回る。
• Natasha2 は、次の研究でヘシアンベクトル積を勾配差分で置き換えることで純粋な一階法として実装でき、収束保証は維持される。
• この枠組みは、負の曲率方向と制御された摂動を活用して鞍点を回避する方法を明確にし、正確な全勾配やヘシアン計算を必要としない。