[论文解读] Optimal Adaptive and Accelerated Stochastic Gradient Descent

Qi Deng, Yi Cheng+1 more|arXiv (Cornell University)|Oct 1, 2018

Stochastic Gradient Optimization Techniques参考文献 5被引用 8

一句话总结

本文提出A2Grad，一种新颖的自适应且加速的随机梯度下降方法，该方法统一了动量（Nesterov型加速）与自适应对角缩放（受AdaGrad/Adam启发）。通过在理论上将收敛复杂度分解为确定性和随机性两部分，A2Grad在引入数据自适应步长和灵活的移动平均方案的同时，实现了最优的$ϳ(\frac{L}{k^{2}} + \frac{\sigma}{\sqrt{k}})$收敛速率，在深度学习基准测试中展现出卓越的优化与泛化性能。

ABSTRACT

Stochastic gradient descent ( extsc{Sgd}) methods are the most powerful optimization tools in training machine learning and deep learning models. Moreover, acceleration (a.k.a. momentum) methods and diagonal scaling (a.k.a. adaptive gradient) methods are the two main techniques to improve the slow convergence of extsc{Sgd}. While empirical studies have demonstrated potential advantages of combining these two techniques, it remains unknown whether these methods can achieve the optimal rate of convergence for stochastic optimization. In this paper, we present a new class of adaptive and accelerated stochastic gradient descent methods and show that they exhibit the optimal sampling and iteration complexity for stochastic optimization. More specifically, we show that diagonal scaling, initially designed to improve vanilla stochastic gradient, can be incorporated into accelerated stochastic gradient descent to achieve the optimal rate of convergence for smooth stochastic optimization. We also show that momentum, apart from being known to speed up the convergence rate of deterministic optimization, also provides us new ways of designing non-uniform and aggressive moving average schemes in stochastic optimization. Finally, we present some heuristics that help to implement adaptive accelerated stochastic gradient descent methods and to further improve their practical performance for machine learning and deep learning.

研究动机与目标

• 弥合自适应梯度方法（如AdaGrad、Adam）与加速（基于动量）随机梯度下降之间在理论上的空白。
• 构建一个统一的理论框架，解释自适应步长与动量在随机优化中如何相互作用。
• 设计一类新型自适应加速SGD方法，实现光滑随机优化的最优收敛速率。
• 提供实用启发式方法，以提升深度学习模型中A2Grad的实现与经验性能。
• 证明指数移动平均与均匀平均可在同一理论分析下统一，且具有可证明的收敛保证。

提出的方法

• 提出A2Grad，一种新型自适应且加速的随机梯度方法，将Nesterov动量与自适应对角缩放相结合。
• 引入一种新颖的收敛复杂度分解：确定性部分（通过动量加速）与随机部分（通过自适应步长改进）。
• 采用统一框架分析均匀与非均匀移动平均方案，其中指数移动平均为特例。
• 采用参数估计策略，通过网格搜索确定Lipschitz常数$L$与自适应参数$\beta_0$，并利用历史梯度的移动平均估计经验方差。
• 通过自适应参数$\gamma_k$与$\beta_k h_k$重述更新规则，其中$h_k$捕捉特征级别的方差，$\beta_k$控制衰减。
• 应用混合移动平均方案，支持均匀与二次加权平均，同时保持最优收敛速率。

实验结果

研究问题

• RQ1 在不牺牲收敛保证的前提下，能否在随机优化中成功结合自适应梯度方法与Nesterov型加速？
• RQ2 动量（加速）与自适应步长在提升收敛速率方面，其理论相互作用机制是什么？
• RQ3 指数移动平均方案能否在加速框架中获得理论支持？其收敛速率是否接近最优或达到最优？
• RQ4 自适应对角缩放如何从均匀平均扩展至非均匀、数据自适应方案，同时保持最优性？
• RQ5 可导出哪些实用启发式方法，以提升深度学习中自适应加速SGD的实现与泛化性能？

主要发现

• A2Grad在光滑随机优化中实现了最优最坏情况收敛速率$\mathcal{O}(\frac{L}{k^{2}} + \frac{\sigma}{\sqrt{k}})$，达到已知最佳速率。
• 通过数据自适应步长改进了随机项$\frac{\sigma}{\sqrt{k}}$，相较于标准SGD或Adam，收敛速度更快。
• 指数移动平均被证明是所提框架的特例，在次高斯假设下可实现近乎最优收敛。
• 在有界梯度范数假设下，A2Grad的收敛速率可进一步提升至最优，展现出理论鲁棒性。
• 在MNIST与CIFAR10上的实验结果表明，A2Grad在训练损失与测试准确率上均优于或匹配Adam与AMSGrad，泛化性能更优。