[論文レビュー] Stochastic Gradient Descent for Nonconvex Learning without Bounded Gradient Assumptions

Yunwen Lei, Ting Hu+2 more|arXiv (Cornell University)|Feb 3, 2019

Stochastic Gradient Optimization Techniques参考文献 34被引用数 10

ひとこと要約

この論文は、非凸最適化における確率的勾配降下法（SGD）の収束保証を確立し、従来の研究で一般的ではあるが検証が難しい勾配の有界性仮定を必要としない。ホルダー連続性を示す勾配とポリャク＝ロジャツェフスキー（PL）条件を活用することで、確実収束と最適な $O(1/t)$ 収束レートを証明した。また、分散がゼロの条件下では線形収束を示し、深層学習におけるSGDの理論的基盤を著しく強化した。

ABSTRACT

Stochastic gradient descent (SGD) is a popular and efficient method with wide applications in training deep neural nets and other nonconvex models. While the behavior of SGD is well understood in the convex learning setting, the existing theoretical results for SGD applied to nonconvex objective functions are far from mature. For example, existing results require to impose a nontrivial assumption on the uniform boundedness of gradients for all iterates encountered in the learning process, which is hard to verify in practical implementations. In this paper, we establish a rigorous theoretical foundation for SGD in nonconvex learning by showing that this boundedness assumption can be removed without affecting convergence rates. In particular, we establish sufficient conditions for almost sure convergence as well as optimal convergence rates for SGD applied to both general nonconvex objective functions and gradient-dominated objective functions. A linear convergence is further derived in the case with zero variances.

研究の動機と目的

• 非凸学習におけるSGDの実用的成功と理論的理解のギャップを埋めること。
• 実際の応用で検証が難しい非自明な勾配の有界性仮定を排除すること。
• 勾配の有界性を仮定しない非凸設定におけるSGDの確実収束と最適な収束レートを確立すること。
• ポリャク＝ロジャツェフスキー（PL）条件を満たす勾配優位関数への収束解析を拡張すること。
• 分散がゼロの条件下でSGDの線形収束を確立し、既存の結果を改善すること。

提案手法

• 標準的なリプシッツ連続性の代わりに、より弱い滑らかさ仮定として勾配のホルダー連続性を導入する。
• ポリャク＝ロジャツェフスキー（PL）条件を用いて、勾配の有界性仮定なしに $O(1/t)$ 収束レートを確立する。
• 期待値の目的関数値の減少を制御するため、ドリフトおよびマルティンゲール型の議論に基づく新しい解析フレームワークを適用する。
• 関数値および勾配ノルムの確実収束を保証するためのステップサイズの十分条件を導出する。
• 線形収束が証明可能なゼロ分散条件を導入する。
• 再帰的不等式フレームワークを用いて期待誤差をバインドし、$t^{-\alpha}$ 項のsummabilityを活用する。

実験結果

リサーチクエスチョン

• RQ1 勾配が一様に有界であると仮定しない非凸最適化において、SGDは最適な収束レートを達成できるか？
• RQ2 勾配の滑らかさ仮定を緩和した下でも、ポリャク＝ロジャツェフスキー（PL）条件が still $O(1/t)$ 収束をもたらすか？
• RQ3 勾配の分散がゼロである場合、非凸設定におけるSGDの線形収束を確立できるか？
• RQ4 勾配の有界性仮定なしに非凸学習におけるSGDの確実収束を保証するためのステップサイズ条件は何か？
• RQ5 勾配のホルダー連続性が非凸問題におけるSGDの収束挙動にどのように影響するか？

主な発見

• 勾配の有界性仮定を排除しても収束レートに影響を与えないため、非凸学習におけるSGDのより堅牢な理論的基盤を確立した。
• ホルダー連続な勾配を有する一般の非凸目的関数に対して、関数値および勾配ノルムが0に確実に収束することを証明した。
• PL条件の下で、勾配の有界性を仮定せずともSGDの $O(1/t)$ 収束レートを確立した。これはより強い仮定の下で達成可能な最良のレートと一致する。
• 分散がゼロの条件下では、SGDの線形収束を証明した。これは一般の非凸設定における部分線形レートと比べて顕著な改善である。
• 関数値の収束に十分なステップサイズ条件を導出し、$t^{-\alpha}$ の形で収束レートの明示的バインドを示した。
• 解析により、$\mathbb{E}[\mathcal{E}(\mathbf{w}_t) - \mathcal{E}(\mathbf{w}^*)] \to 0$ が確実に成り立ち、$t \to \infty$ のとき $\|\nabla\mathcal{E}(\mathbf{w}_t)\|_2 \to 0$ が確実に成り立つことが示された。