[論文レビュー] Stochastic Variance Reduction for Nonconvex Optimization

Sashank J. Reddi, Ahmed Hefny+3 more|arXiv (Cornell University)|Mar 19, 2016

Stochastic Gradient Optimization Techniques参考文献 33被引用数 242

ひとこと要約

この論文はSVRGを用いた非凸な有限和最適化を分析し、非漸近的収束をSGDおよび勾配法より速く stationary point へ到達することを証明し、勾配支配性のサブクラスに対して線形収束を示す。

ABSTRACT

We study nonconvex finite-sum problems and analyze stochastic variance reduced gradient (SVRG) methods for them. SVRG and related methods have recently surged into prominence for convex optimization given their edge over stochastic gradient descent (SGD); but their theoretical analysis almost exclusively assumes convexity. In contrast, we prove non-asymptotic rates of convergence (to stationary points) of SVRG for nonconvex optimization, and show that it is provably faster than SGD and gradient descent. We also analyze a subclass of nonconvex problems on which SVRG attains linear convergence to the global optimum. We extend our analysis to mini-batch variants of SVRG, showing (theoretical) linear speedup due to mini-batching in parallel settings.

研究の動機と目的

• 確率的分散削減勾配法（VR）を非凸な有限和問題へ動機づけて分析する。
• SVRGの非漸近的収束速度を、SGDおよび勾配降下法より改善して stationary points へ到達させる。
• SVRGが非凸問題のサブクラス（勾配支配）で線形収束を達成する条件を特定する。
• 並列設定でのミニバッチSVRGを調査し、線形スピードアップを証明する。
• 非凸および凸の両スキームにおけるSGD、勾配降下法、SVRGの比較と洞察を提供する。

提案手法

• Incremental First-order Oracle (IFO)モデルの下で、リプシッツ連続・滑らかな成分を持つ f(x) = (1/n) sum_{i=1}^n f_i(x) の最適化を研究する。
• 参照点での全勾配を計算するエポックと内部の確率的更新を行う非凸SVRG（Algorithm 2）を分析する。
• 適切なパラメータ選択の下で、収束保証を導出する：E[||∇f(x_a)||^2] ≤ (f(x^0) - f(x^*))/(T γ_n)。
• Explicit IFO複雑性を得るためのステップサイズとエポック長のパラメータ選択を導入する。
• 分散削減と並列性の利点を示すミニバッチSVRG（Algorithm 4）へ分析を拡張する。
• SGD風とGD風の挙動の間でステップサイズをバランスさせるバリアント（Msvrg）を提示し、IFO複雑性の改善を図る。

実験結果

リサーチクエスチョン

• RQ1 SVRGは有限和問題に対して非凸の収束速度を SGD や勾配降下法より速く実現できるか。
• RQ2 勾配支配型の非凸関数に対して、SVRGが理論上線形収束を達成するパラメータ領域はどこか。
• RQ3 ミニバッチを用いた場合、SVRGの収束はどう変化し、並列設定で線形スピードアップを提供できるか。
• RQ4 非凸および凸の両スキームにおけるIFO複雑性において、SVRGはSGDおよび勾配降下法とどう比較されるか。

主な発見

• 非凸の有限和問題に対して、SVRGはSGDおよび勾配降下法より stationary points への収束が速く、特定のレジームで n^{1/3} に関連する因子の改善がある。
• 非凸SVRGの場合、ε精度へ到達するIFO複雑性は O(n + n^{1/3}/ε) または O(n + n^{α}/ε) にスケールし、最適な依存は α = 2/3。
• 勾配支配型（τ-勾配支配）非凸関数では、SVRGはグローバル線形収束を達成し、IFO複雑性は O((n + τ n^{2/3}) log(1/ε)) にスケールする。
• SVRGによるミニバッチは、バッチサイズ b < n^{2/3} の並列設定で線形スピードアップを生み、総IFO回数を増やさず、IFOモデルで O(n + n^{2/3}/ε) の複雑性をもたらす。
• ある変種の Msvrg は、σ-有界勾配の仮定の下で、SGDおよびGradientDescentの双方より良いIFO複雑性を実現する適切なステップサイズ選択を組み合わせる。
• 本論はまた凸ケースの解析も提供し、SVRGが IFO 複雑性で O(1/ε) のレートを達成し、適切なパラメータ選択で改善したレートを達成できることを示す。