[論文レビュー] On the Convergence of Stochastic Gradient Descent with Adaptive Stepsizes

Xiaoyu Li, Francesco Orabona|arXiv (Cornell University)|May 21, 2018

Stochastic Gradient Optimization Techniques被引用数 107

ひとこと要約

この論文は SGD のための一般化 AdaGrad 風適応ステップサイズを分析し、非凸・凸設定の両方で勾配がほぼ確実にゼロへ収束することを証明し、勾配ノイズに適応しながら GD と SGD の間を補間する適応的有限時間収束率を示す。

ABSTRACT

Stochastic gradient descent is the method of choice for large scale optimization of machine learning objective functions. Yet, its performance is greatly variable and heavily depends on the choice of the stepsizes. This has motivated a large body of research on adaptive stepsizes. However, there is currently a gap in our theoretical understanding of these methods, especially in the non-convex setting. In this paper, we start closing this gap: we theoretically analyze in the convex and non-convex settings a generalized version of the AdaGrad stepsizes. We show sufficient conditions for these stepsizes to achieve almost sure asymptotic convergence of the gradients to zero, proving the first guarantee for generalized AdaGrad stepsizes in the non-convex setting. Moreover, we show that these stepsizes allow to automatically adapt to the level of noise of the stochastic gradients in both the convex and non-convex settings, interpolating between $O(1/T)$ and $O(1/\\sqrt{T})$, up to logarithmic terms.

研究の動機と目的

• 凸/有界領域仮定を超える SGD の適応ステップサイズの動機づけと分析。
• 一般化 AdaGrad ステップサイズで convex and non-convex settings における勾配のほぼ確実なゼロ収束を確立。
• 適応的なステップサイズが勾配ノイズレベルに自動的に適応し、GD と SGD のレートを補間することを示す。

提案手法

• global stepsize eta_t = alpha / (beta + sum_{i=1}^{t-1} ||g(x_i, xi_i)||^2)^{1/2 + epsilon} および coordinate-wise eta_{t,j} = alpha / (beta + sum_{i=1}^{t-1} g(x_i, xi_i)_j^2)^{1/2 + epsilon} の2つの一般化 AdaGrad 的ステップサイズ規則を検討する。
• Lipschitz 光滑性、bounded-support ノイズ、上記のステップサイズの下で SGD 勾配がほぼ確実にゼロへ収束することを証明する。
• 凸設定における有限時間の適応的収束率を導出し、ノイズが小さいときは GD、ノイズが大きいときは SGD へ補間することを示す。
• ノイズレベルを知らなくても適応的ステップサイズで最良の反復に対する非凸収束率を提供する。

実験結果

リサーチクエスチョン

• RQ1 一般化 AdaGrad ステップサイズは非凸設定で勾配のほぼ確実なゼロ収束を保証するか？
• RQ2 適応ステップサイズは勾配ノイズに適応して、凸問題において GD と SGD の間を補間する有限時間のレートを生み出せるか？
• RQ3 同様の適応レートは非凸設定でも成り立つか、特に最後の反復ではなく最良の反復に対して？

主な発見

• 一般化 AdaGrad ステップサイズを用いた SGD は、非凸および凸の両方のケースで勾配がほぼ確実にゼロに収束する。
• 凸問題では、ノイズレベルに適応し、GD と SGD のレートの間を多項式対数項まで補間する。
• 非凸設定では、一般化 AdaGrad ステップサイズは低ノイズ時に適応的な有限時間レートを生み出し、最良反復保証へ拡張する。
• この分析は、非凸最適化で平易な SGD より利点を提供する AdaGrad-like ステップサイズへの最初の理論的裏付けを示している。