[論文レビュー] Better Theory for SGD in the Nonconvex World

Ahmed Khaled, Peter Richtárik|arXiv (Cornell University)|Feb 9, 2020

Stochastic Gradient Optimization Techniques参考文献 46被引用数 60

ひとこと要約

この論文は、非凸SGD向けの一般的な期待スムージング（ES）条件を提案し、最適な収束速度とサブサンプリングおよび圧縮方式間の柔軟性を証明する。

ABSTRACT

Large-scale nonconvex optimization problems are ubiquitous in modern machine learning, and among practitioners interested in solving them, Stochastic Gradient Descent (SGD) reigns supreme. We revisit the analysis of SGD in the nonconvex setting and propose a new variant of the recently introduced expected smoothness assumption which governs the behaviour of the second moment of the stochastic gradient. We show that our assumption is both more general and more reasonable than assumptions made in all prior work. Moreover, our results yield the optimal $\mathcal{O}(\varepsilon^{-4})$ rate for finding a stationary point of nonconvex smooth functions, and recover the optimal $\mathcal{O}(\varepsilon^{-1})$ rate for finding a global solution if the Polyak-Łojasiewicz condition is satisfied. We compare against convergence rates under convexity and prove a theorem on the convergence of SGD under Quadratic Functional Growth and convexity, which might be of independent interest. Moreover, we perform our analysis in a framework which allows for a detailed study of the effects of a wide array of sampling strategies and minibatch sizes for finite-sum optimization problems. We corroborate our theoretical results with experiments on real and synthetic data.

研究の動機と目的

• 非凸SGDにおける確率的勾配の二次モーメントの正確なモデリングを動機づける。
• ES仮定をSGD解析における最も弱い一般条件として導入する。
• 実用的なサブサンプリングと圧縮方式の下でESが成立することを示す。
• 一般の非凸ではO(ε^-4)、PL条件下ではO(ε^-1)の最適な収束速度を導出する。
• ミニバッチサイズと重要サンプリングに関する指針を提供する。
• ESベースの結果を既存の凸/非凸の収束結果と比較する。

提案手法

• 有限和フレームワークの下で、確率的勾配g(x)を∇f(x)の不偏推定量として定義する。
• ES不等式を提案する： E[||g(x)||^2] ≤ 2A(f(x)-f_inf) + B||∇f(x)||^2 + C。
• ESは既知の仮定の中で最も弱いものであり、多くのサブサンプリング/圧縮方式に対して自動的に成り立つことを示す。
• ESの下でのSGDの収束解析を展開し、O(ε^-4)回の勾配計算でε-stationary点を得る。
• Polyak-Lojasiewicz(PL)条件へ解析を拡張し、O(ε^-1)レートを得るとともに、QFGおよび凸性の下での収束を議論する。
• ESを具体化するために、置換有無/τ-niceを含むサンプリング方式と、ω-compressorsなどの圧縮演算子を検討する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配の二次モーメントに対する最小限の条件は何で、それが信頼できる非凸SGD収束を保証するのか？
• RQ2 サブサンプリングや圧縮などの実用的な確率性源を包含する一般的で弱い仮定は存在するか？
• RQ3 ESの下でのSGDの収束レートはいくらで、PLや凸の場合の既知の最適レートに一致するか？
• RQ4 サンプリング戦略とミニバッチサイズがESパラメータと得られる計算量にどう影響するか？
• RQ5 ESは、フル勾配法やPLに基づく収束を含む非凸最適化の既存結果を再現または改善できるか？

主な発見

• 非凸問題の確率的勾配の二次モーメントを支配する最も弱い既知の条件としてESを導入する。
• サブサンプリングや圧縮などの一般的な実用設定の下でESが自動的に成り立つことを示す。
• 一般の滑らかな非凸関数に対してε-stationary点への最適O(ε^-4)収束速度を達成。
• PL条件下でグローバル解を見つけるためのO(ε^-1)レートを回復。
• ES内で最適なミニバッチサイズと重要サンプリング確率を導出するための枠組みを提供。
• ESをいくつかの既存の勾配ノイズモデル（BV、M-SG、SG、RG、GC）と関連付け、かつより一般的なまま包含する。