[論文レビュー] On Almost Sure Convergence Rates of Stochastic Gradient Methods

Jun Liu, Ye Yuan|arXiv (Cornell University)|Feb 9, 2022

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿は、確率的勾配降下法（SGD）、確率的ヘヴィボール法（SHB）、確率的ネステロフの加速勾配法（SNAG）の、一様なほとんど確実収束速度解析を提供する。強い凸関数に対しては、ほとんど確実収束速度が最適に限りなく近いことを確立する。非凸関数に対しては、最終反復と勾配ノルムの加重平均のほとんど確実収束を証明する。一般の凸関数に対しては、初めてとなる最終反復のほとんど確実収束速度を導出するが、まだ最適ではない。

ABSTRACT

The vast majority of convergence rates analysis for stochastic gradient methods in the literature focus on convergence in expectation, whereas trajectory-wise almost sure convergence is clearly important to ensure that any instantiation of the stochastic algorithms would converge with probability one. Here we provide a unified almost sure convergence rates analysis for stochastic gradient descent (SGD), stochastic heavy-ball (SHB), and stochastic Nesterov's accelerated gradient (SNAG) methods. We show, for the first time, that the almost sure convergence rates obtained for these stochastic gradient methods on strongly convex functions, are arbitrarily close to their optimal convergence rates possible. For non-convex objective functions, we not only show that a weighted average of the squared gradient norms converges to zero almost surely, but also the last iterates of the algorithms. We further provide last-iterate almost sure convergence rates analysis for stochastic gradient methods on weakly convex smooth functions, in contrast with most existing results in the literature that only provide convergence in expectation for a weighted average of the iterates.

研究の動機と目的

• 非凸および強い凸設定における、確率的ヘヴィボール法（SHB）および確率的ネステロフの加速勾配法（SNAG）の、ほとんど確実収束速度解析の欠落を解消すること。
• SGD、SHB、SNAGの間で、ほとんど確実収束速度を統一的に分析する理論的枠組みを提供すること。
• 一般の凸関数における最終反復のほとんど確実収束速度を確立すること。これは、従来の文献では埋まっていなかったギャップである。
• 強い凸関数における収束速度が、ほとんど確実収束の下で可能な限り最適に近いことを示すこと。

提案手法

• マルティングール収束およびほとんど確実収束定理に基づく統一的枠組みを用いて、SGD、SHB、SNAGを分析する。
• マルティングールの強大数法則およびL²有界性を用いて、勾配関連項のほとんど確実収束を証明する。
• ステップサイズルール $\alpha_t = \Theta(1/t^{2/3 + \varepsilon})$ を $\varepsilon \in (0, 1/3)$ として用い、最終反復の収束速度を導出する。
• $\sum \|v_t\|^2$ および $\sum \alpha_t w_t$ の有界性を活用して、勾配および反復のほとんど確実収束を示す。
• 確率的勾配をバイアス項と分散項に分解する：$\alpha_t w_t = \alpha_t(g_t - \nabla f(x_t)) + \alpha_t(\nabla f(x_t) - \nabla f(z_t))$ とし、各成分のほとんど確実収束を証明する。
• Lemma 4.1 を $b_t = \|\nabla f(z_t)\|$ および $p=2$ として適用し、$\nabla f(z_t) \to 0$ ほぼ確実に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 強い凸関数において、SHBおよびSNAGのほとんど確実収束速度を確立できるか。また、それらは最適速度にどの程度近いか。
• RQ2 非凸な滑らかな関数において、SHBおよびSNAGの最終反復はほぼ確実に収束するか。勾配ノルムの収束速度は何か。
• RQ3 一般の凸関数において、SGD、SHB、SNAGの最終反復のほとんど確実収束速度を導出可能か。また、既存の期待値ベースの速度と比べてどうか。
• RQ4 強い凸の場合に、これらの方法のほとんど確実収束速度を、最適速度に限りなく近づけることができるか。
• RQ5 一般の凸関数における最終反復の最も鋭い可能なかぎりのほとんど確実収束速度は何か。また、$O(1/t^{1/3 - \varepsilon})$ よりも改善可能か。

主な発見

• 強い凸関数において、SGD、SHB、SNAGのほとんど確実収束速度は、可能な限り最適に近い。
• 非凸な滑らかな関数において、勾配ノルムの加重平均は0にほぼ確実に収束し、SHBおよびSNAGの最終反復はほぼ確実に最小値点に収束する。
• 一般の凸関数において、本稿はSGD、SHB、SNAGの最初の最終反復のほとんど確実収束速度 $O(1/t^{1/3 - \varepsilon})$ を確立する。
• 一般の凸関数における収束速度 $O(1/t^{1/3 - \varepsilon})$ は、まだ最適ではない。期待値の下での下界はよりきつい。
• 解析により、$\sum \|v_t\|^2 < \infty$ ほぼ確実に成り立ち、これは $v_t \to 0$ ほぼ確実に収束することを意味する。同様に $\nabla f(x_t) \to 0$ ほぼ確実に収束する。
• 証明技法は、確率的勾配誤差をマルティングール差分とバイアス項に分解し、選択されたステップサイズルールの下で両者がほぼ確実に収束することを示すことに依存する。