[論文レビュー] A High Probability Analysis of Adaptive SGD with Momentum

Xiaoyu Li, Francesco Orabona|OpenBU (Boston University)|Jul 28, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用数 14

ひとこと要約

本稿は、非凸設定におけるモーメンタム付き適応的勾配降下法の、最初の高確率収束解析を提示する。弱い仮定のもとで、特に勾配ノイズが有界でないサブガウス型である場合に、遅延AdaGradにモーメンタムを組み合わせた手法が、高確率で勾配がゼロに収束することを示している。適応的レートはノイズレベルに応じてスケーリングされる。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are the most used algorithms in machine learning applications. In particular, SGD with adaptive learning rates and momentum is the industry standard to train deep networks. Despite the enormous success of these methods, our theoretical understanding of these variants in the nonconvex setting is not complete, with most of the results only proving convergence in expectation and with strong assumptions on the stochastic gradients. In this paper, we present a high probability analysis for adaptive and momentum algorithms, under weak assumptions on the function, stochastic gradients, and learning rates. We use it to prove for the first time the convergence of the gradients to zero in high probability in the smooth nonconvex setting for Delayed AdaGrad with momentum.

研究の動機と目的

• 非凸最適化における適応的SGDにモーメンタムを組み合わせた手法に対して、高確率収束保証が不足している問題を解決する。
• 従来の解析が勾配が有界であるという強い仮定に依存しているという限界を克服する。
• 深層学習の応用において極めて重要な、単一のアルゴリズム実行における信頼性の高い性能保証を提供する理論的境界を導出する。
• 関数の滑らかさおよび勾配ノイズに関する最小限の仮定のもとで、遅延AdaGradにモーメンタムを組み合わせた手法の高確率収束を確立する。
• 収束レートが勾配内のノイズレベルに適応することを示し、実用的安定性を向上させる。

提案手法

• 一般化されたフレッドマン型不等式を用いて、モーメンタム付き確率的最適化の高確率境界を導出する。
• ステップサイズが $ O(1/\tfrac{1}{\sqrt{t}}) $ であるモーメンタムSGDを分析し、非凸設定下で勾配が高確率でゼロに収束することを証明する。
• 勾配ノイズにサブガウス仮定を導入することで、従来の有界勾配仮定に依存しない、新たな適応的手法の解析フレームワークを構築する。
• Lemma 7 および Lemma 8 を用いて、ノイズおよびモーメンタムパラメータを含む再帰的不等式を介して、二乗勾配の和をバウンディングする。
• 高確率上界として $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $ を導出し、これにより勾配がゼロに収束することを確立する。
• モーメンタム更新則 $ \mu \in (0,1) $ と、$ \eta_t = \alpha / \sqrt{\beta + \sum_{s=1}^{t-1} g_{s,i}^2} $ で定義される適応的学習率を用いることで、ノイズに適応する挙動を保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸最適化における適応的SGDにモーメンタムを組み合わせた手法に対して、高確率収束保証を確立することは可能か？
• RQ2 有界勾配ではなくサブガウス型勾配ノイズ仮定という弱い仮定のもとでも、解析は有効に保たれるか？
• RQ3 収束レートは、確率的勾配内の実際のノイズレベルに適応可能か？
• RQ4 モーメンタムの組み込みが、適応的手法の高確率収束挙動にどのように影響するか？
• RQ5 非漸近的かつ高確率的な境界を、適応的モーメンタム手法における二乗勾配の和に対して導出可能か？

主な発見

• 本稿は、滑らかな非凸設定下で、遅延AdaGradにモーメンタムを組み合わせた手法について、初めて高確率で勾配がゼロに収束することを証明した。
• 収束レートは $ O\left(\frac{1}{\alpha} + \frac{d(\alpha + \sigma^2(\alpha \ln \frac{T}{\delta} + \frac{\ln \frac{1}{\delta}}{1-\mu}))}{1-\mu} \right) $ であり、$ \sigma^2 $ がノイズレベルを制御する。
• 境界はノイズレベルに適応しており、ノイズが小さくなるほど収束レートが向上する。
• サブガウス型勾配ノイズ仮定のもとで解析が成立し、従来の研究で一般的な強い有界性仮定を回避できる。
• 複数回の独立実行に依存せず、深層学習における単一実行トレーニングに適した高確率境界が得られた。
• $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $ の導出された上界を用いて、$ \min_{1 \leq t \leq T} \|\nabla f(\boldsymbol{x}_t)\|^2 \to 0 $ が $ T \to \infty $ のとき高確率で成立することを示した。