[論文レビュー] Stabilized SVRG: Simple Variance Reduction for Nonconvex Optimization

Rong Ge, Zhize Li+2 more|arXiv (Cornell University)|May 1, 2019

Sparse and Compressive Sensing Techniques参考文献 29被引用数 9

ひとこと要約

この論文は、Stochastic Variance Reduced Gradient (SVRG) の単純な変種である Stabilized SVRG を導入し、非凸な有限和最適化において $\epsilon$-second-order stationary points を見つけるための理論的保証を初めて達成した。勾配のステップ数は $\widetilde{O}(n^{2/3}/\epsilon^{2} + n/\epsilon^{1.5})$ に抑えられ、1次勾配収束の最良既知の複雑さと一致するが、複雑な負の曲率探索サブルーチンを回避する。

ABSTRACT

Variance reduction techniques like SVRG provide simple and fast algorithms for optimizing a convex finite-sum objective. For nonconvex objectives, these techniques can also find a first-order stationary point (with small gradient). However, in nonconvex optimization it is often crucial to find a second-order stationary point (with small gradient and almost PSD hessian). In this paper, we show that Stabilized SVRG (a simple variant of SVRG) can find an $ε$-second-order stationary point using only $\widetilde{O}(n^{2/3}/ε^2+n/ε^{1.5})$ stochastic gradients. To our best knowledge, this is the first second-order guarantee for a simple variant of SVRG. The running time almost matches the known guarantees for finding $ε$-first-order stationary points.

研究の動機と目的

• 鞍点を回避する上で極めて重要な非凸的有限和最適化における2次停留点を、効率的に見つける課題に対処すること。
• アルゴリズムの単純さを保ちながら、2次収束保証を達成できるように、SVRG の単純な修正を開発すること。
• 従来の2次アルゴリズムで一般的に必要な複雑な負の曲率探索サブルーチン（例：Neon2）の必要性を排除すること。
• 1次停留点への収束のための最良既知の勾配複雑さを維持しつつ、2次保証に拡張すること。

提案手法

• 非凸設定における収束性の向上を図るため、ヘッセ行列の変動を制限する安定化ステップを備えた、修正された SVRG アルゴリズム、Stabilized SVRG を導入する。
• 有限和構造 $f(x) = \frac{1}{n}\sum_{i=1}^n f_i(x)$ を活用し、スナップショット反復からの制御変数を用いて勾配の分散を低減する。
• 制限付き等長性（RIP）と行列集中を基盤とする、新たな解析フレームワークを用いてヘッセ行列の差を制限し、2次収束を保証する。
• 行列 Bernstein 不等式を適用して、経験的ヘッセ行列推定値とその期待値との乖離を制御し、高確率保証を可能にする。
• 負の曲率探索を回避するための、摂動を伴わないメカニズムを導入し、ヘッセ行列近似を本質的に安定化させる。
• 勾配ノルムの制御とヘッセ行列の近似正定性を組み合わせることで、$\epsilon$-second-order stationary points への収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 負の曲率探索サブルーチンを必要とせず、SVRG の単純な変種が2次停留点への収束を達成できるか？
• RQ2 非凸的有限和問題において、$\epsilon$-second-order stationary points を見つけるための最適な確率的勾配複雑さは何か？
• RQ3 Stabilized SVRG は、1次勾配収束の際の勾配複雑さを維持しつつ、2次収束を達成できるか？
• RQ4 単純な安定化メカニズムを用いてヘッセ行列の変動を制御し、2次収束を保証できるか？

主な発見

• Stabilized SVRG は、$\epsilon$-second-order stationary points を見つけるため、$\widetilde{O}(n^{2/3}/\epsilon^{2} + n/\epsilon^{1.5})$ の確率的勾配複雑さを達成する。
• このアルゴリズムは、1次停留点への収束のための最良既知の複雑さを一致させ、勾配使用の観点からほぼ最適である。
• 従来の2次アルゴリズムとは異なり、Neon2 や負の曲率探索といった複雑なサブルーチンの必要性を回避する。
• 解析により、制限付き等長性条件下でヘッセ行列の差が $\rho \leq 264/5$ で有界であることが示され、安定なヘッセ行列近似が保証される。
• ヘッセ行列の変動に関する下界は、この手法が曲率に敏感であることを示しており、効果的な鞍点回避が可能である。
• アルゴリズムは単純かつ実用的であり、SVRG の効率性と2次収束保証を組み合わせている。