[论文解读] A High Probability Analysis of Adaptive SGD with Momentum

Xiaoyu Li, Francesco Orabona|OpenBU (Boston University)|Jul 28, 2020

Stochastic Gradient Optimization Techniques参考文献 26被引用 14

一句话总结

本文首次在非凸设置下，针对具有动量的自适应随机梯度下降，提出了高概率收敛性分析，且假设条件较弱——具体而言，使用次高斯梯度噪声而非有界梯度。研究证明，延迟AdaGrad配合动量可高概率收敛至零梯度，且自适应学习率会随噪声水平调整。

ABSTRACT

Stochastic Gradient Descent (SGD) and its variants are the most used algorithms in machine learning applications. In particular, SGD with adaptive learning rates and momentum is the industry standard to train deep networks. Despite the enormous success of these methods, our theoretical understanding of these variants in the nonconvex setting is not complete, with most of the results only proving convergence in expectation and with strong assumptions on the stochastic gradients. In this paper, we present a high probability analysis for adaptive and momentum algorithms, under weak assumptions on the function, stochastic gradients, and learning rates. We use it to prove for the first time the convergence of the gradients to zero in high probability in the smooth nonconvex setting for Delayed AdaGrad with momentum.

研究动机与目标

• 解决自适应SGD配合动量在非凸优化中缺乏高概率收敛保证的问题。
• 克服先前分析中依赖强假设（如有界随机梯度）的局限性。
• 提供理论界，确保单次算法运行的可靠性能，这对深度学习应用至关重要。
• 在函数光滑性和梯度噪声假设最弱的条件下，建立延迟AdaGrad配合动量的高概率收敛性。
• 证明收敛速率可随随机梯度中实际噪声水平自适应调整，从而增强实际鲁棒性。

提出的方法

• 利用广义的Freedman型不等式，推导具有动量的随机优化的高概率界。
• 分析步长为 $ O(1/\tfrac{1}{\sqrt{t}}) $ 的动量SGD，证明在非凸设置下梯度高概率收敛至零。
• 通过利用梯度噪声的次高斯假设，提出一种新颖的自适应方法分析框架，允许梯度无界。
• 应用引理7和引理8，通过涉及噪声和动量参数的递归不等式，界定平方梯度之和。
• 推导出 $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $ 的高概率上界，进而用于证明梯度收敛至零。
• 采用动量更新规则，其中 $ \mu \in (0,1) $，并使用自适应学习率 $ \eta_t = \alpha / \sqrt{\beta + \sum_{s=1}^{t-1} g_{s,i}^2} $，以确保对噪声的自适应行为。

实验结果

研究问题

• RQ1 能否在非凸优化中为具有动量的自适应SGD建立高概率收敛保证？
• RQ2 当假设条件弱化为次高斯梯度噪声而非有界梯度时，该分析是否依然有效？
• RQ3 收敛速率能否自适应于随机梯度中的实际噪声水平？
• RQ4 动量的引入如何影响自适应方法的高概率收敛行为？
• RQ5 能否为自适应动量方法中平方梯度之和推导出非渐近的、高概率的界？

主要发现

• 本文首次证明，在光滑非凸设置下，延迟AdaGrad配合动量的梯度可高概率收敛至零。
• 收敛速率为 $ O\left(\frac{1}{\alpha} + \frac{d(\alpha + \sigma^2(\alpha \ln \frac{T}{\delta} + \frac{\ln \frac{1}{\delta}}{1-\mu}))}{1-\mu} \right) $，其中 $ \sigma^2 $ 控制噪声水平。
• 界具有噪声自适应性，噪声越低，收敛速率越快。
• 分析基于次高斯梯度噪声假设，允许梯度无界，避免了先前工作中常见的强有界性假设。
• 高概率界不依赖于多次独立运行，因此适用于深度学习中的单次训练。
• 推导出的 $ \sum_{t=1}^T \|\nabla f(\boldsymbol{x}_t)\|^2 $ 上界被用于证明：当 $ T \to \infty $ 时，$ \min_{1 \leq t \leq T} \|\nabla f(\boldsymbol{x}_t)\|^2 \to 0 $ 以高概率成立。