[論文レビュー] Finding Local Minima via Stochastic Nested Variance Reduction

Dongruo Zhou, Pan Xu+1 more|arXiv (Cornell University)|Jun 22, 2018

Stochastic Gradient Optimization Techniques参考文献 37被引用数 12

ひとこと要約

本稿では、確率的ネストドバリアンス低減と負の曲率検出を活用することで、非凸最適化における(ϵ, ϵH)-第二階層停留点への収束を加速するSNVRG+ + Neon2アルゴリズムを提案する。この手法は、有限和問題ではeO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2})、一般の確率的問題ではeO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3})の勾配複雑度を達成し、広い範囲で先行する最先端手法を上回る性能を示す。

ABSTRACT

We propose two algorithms that can find local minima faster than the state-of-the-art algorithms in both finite-sum and general stochastic nonconvex optimization. At the core of the proposed algorithms is $ ext{One-epoch-SNVRG}^+$ using stochastic nested variance reduction (Zhou et al., 2018a), which outperforms the state-of-the-art variance reduction algorithms such as SCSG (Lei et al., 2017). In particular, for finite-sum optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{finite}}$ algorithm achieves $ ilde{O}(n^{1/2}ε^{-2}+nε_H^{-3}+n^{3/4}ε_H^{-7/2})$ gradient complexity to converge to an $(ε, ε_H)$-second-order stationary point, which outperforms $ ext{SVRG}+ ext{Neon2}^{ ext{finite}}$ (Allen-Zhu and Li, 2017) , the best existing algorithm, in a wide regime. For general stochastic optimization problems, the proposed $ ext{SNVRG}^{+}+ ext{Neon2}^{ ext{online}}$ achieves $ ilde{O}(ε^{-3}+ε_H^{-5}+ε^{-2}ε_H^{-3})$ gradient complexity, which is better than both $ ext{SVRG}+ ext{Neon2}^{ ext{online}}$ (Allen-Zhu and Li, 2017) and Natasha2 (Allen-Zhu, 2017) in certain regimes. Furthermore, we explore the acceleration brought by third-order smoothness of the objective function.

研究の動機と目的

• 非凸最適化問題における局所的最小値をより高速に探索するアルゴリズムの開発。
• 有限和および一般の確率的設定において、(ϵ, ϵH)-第二階層停留点に到達するための勾配複雑度の向上。
• 確率的ネストドバリアンス低減(SNVRG+)とNeon2フレームワークの統合による、ヘッセ行列の計算を伴わない効率的な負の曲率検出。
• SVRG + Neon2 や Natasha2 などの既存アルゴリズムと比較して優れた収束速度を示すことの実証。

提案手法

• エポック長を確率的に選ぶOne-epoch-SNVRG+を導入。最終反復を出力とすることで、エポックごとの最終反復に対する収束保証が向上する。
• 非凸有限和問題における勾配分散低減のため、確率的ネストドバリアンス低減を採用。
• One-epoch-SNVRG+とNeon2アルゴリズムを組み合わせ、ヘッセ行列の計算なしに負の曲率方向を検出。
• 適応的ステップサイズとモーメンタム型更新を用いた再帰的バリアンス低減スキームを導入し、収束の安定化を図る。
• 条件付き期待値とテレスコピング不等式を用いて、勾配ノルムと関数値の減少に関する理論的境界を導出。
• 目的関数の三階微分の滑らかさを活用し、特定の条件下で収束をさらに加速。

実験結果

リサーチクエスチョン

• RQ1 確率的ネストドバリアンス低減は、非凸最適化における第二階層停留点の探索に効果的に適応可能か？
• RQ2 One-epoch-SNVRG+は、有限和問題における既存の一次元手法よりも優れた勾配複雑度を達成できるか？
• RQ3 SNVRG+とNeon2の統合は、一般の確率的最適化においてSVRG + Neon2 や Natasha2 を上回る性能を発揮できるか？
• RQ4 目的関数の三階微分の滑らかさが、提案アルゴリズムの収束速度にどのように影響するか？
• RQ5 提案アルゴリズムの(ϵ, ϵH)-停留点に到達するための理論的勾配複雑度は何か？

主な発見

• SNVRG+ + Neon2finiteは、有限和問題においてeO(n^{1/2}ϵ^{-2} + nϵ_H^{-3} + n^{3/4}ϵ_H^{-7/2})の勾配複雑度を達成し、広い範囲でSVRG + Neon2finiteを上回る性能を示した。
• SNVRG+ + Neon2onlineは、一般の確率的問題においてeO(ϵ^{-3} + ϵ_H^{-5} + ϵ^{-2}ϵ_H^{-3})の勾配複雑度を達成し、特定の範囲でSVRG + Neon2onlineおよびNatasha2を上回った。
• 理論的分析により、One-epoch-SNVRG+が各エポックの最終反復に対する収束保証を提供することが確認され、Neon2との安定的な統合が可能であることが示された。
• ヘッセ行列の明示的計算を回避し、Neon2による勾配ベースの負の曲率検出を効果的に実現した。
• 三階微分の滑らかさが仮定されると、実験的利得がさらに顕著に現れ、勾配複雑度がさらに低減された。
• 証明フレームワークは、テレスコピング不等式と条件付き期待値の境界を用いて、バリアンスと勾配ノルムの減衰を制御する。