[论文解读] Adam$^+$: A Stochastic Method with Adaptive Variance Reduction

Mingrui Liu, Wei Zhang+2 more|arXiv (Cornell University)|Nov 24, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用 12

一句话总结

Adam+ 是一种新颖的随机优化方法，它用基于范数的自适应步长替代了 Adam 的自适应二阶矩估计，并在外推点上计算一阶梯度的移动平均。这种设计实现了具有自适应方差减少的可证明收敛性，在深度学习基准测试中性能优于 Adam，且与调优后的 SGD 表现相当，同时仅需极少的超参数调优。

ABSTRACT

Adam is a widely used stochastic optimization method for deep learning applications. While practitioners prefer Adam because it requires less parameter tuning, its use is problematic from a theoretical point of view since it may not converge. Variants of Adam have been proposed with provable convergence guarantee, but they tend not be competitive with Adam on the practical performance. In this paper, we propose a new method named Adam$^+$ (pronounced as Adam-plus). Adam$^+$ retains some of the key components of Adam but it also has several noticeable differences: (i) it does not maintain the moving average of second moment estimate but instead computes the moving average of first moment estimate at extrapolated points; (ii) its adaptive step size is formed not by dividing the square root of second moment estimate but instead by dividing the root of the norm of first moment estimate. As a result, Adam$^+$ requires few parameter tuning, as Adam, but it enjoys a provable convergence guarantee. Our analysis further shows that Adam$^+$ enjoys adaptive variance reduction, i.e., the variance of the stochastic gradient estimator reduces as the algorithm converges, hence enjoying an adaptive convergence. We also propose a more general variant of Adam$^+$ with different adaptive step sizes and establish their fast convergence rate. Our empirical studies on various deep learning tasks, including image classification, language modeling, and automatic speech recognition, demonstrate that Adam$^+$ significantly outperforms Adam and achieves comparable performance with best-tuned SGD and momentum SGD.

研究动机与目标

• 为了解决 Adam 尽管在深度学习中表现出色，但缺乏理论收敛保证的问题。
• 设计一种方法，在保留 Adam 低调优优势的同时，实现可证明收敛性和更好的泛化性能。
• 在不依赖大批次或递归梯度计算的前提下，实现自适应方差减少。
• 在标准非凸光滑性假设下，建立与最先进方法相当的快速收敛速率。

提出的方法

• Adam+ 用基于一阶梯度估计范数平方根的步长，替代了标准 Adam 中基于二阶矩估计平方根的自适应步长。
• 它在预测点（外推点）上计算一阶梯度估计的移动平均，而非在当前迭代点上，从而提升稳定性和收敛性。
• 该算法避免维护二阶矩的移动平均，简化了更新过程并降低了方差。
• 提出了一种 Adam+ 的广义变体，采用不同的自适应步长，可在相同假设下实现更快的收敛速率。
• 理论分析表明，随着算法收敛，随机梯度估计器的方差会减小，从而实现自适应收敛。
• 在标准非凸光滑性和有界梯度假设下进行分析，已建立收敛至 ϵ-驻点的结果。

实验结果

研究问题

• RQ1 是否能够设计一种随机优化方法，将 Adam 的低调优优势与可证明收敛性相结合？
• RQ2 自适应方差减少是否能在自适应梯度方法中自然发生，而无需依赖大批次或递归梯度计算？
• RQ3 在非凸设置下，是否能够实现比 SGD 更快的收敛速度，而无需依赖梯度稀疏性？
• RQ4 在深度学习中，使用外推点进行一阶梯度估计如何影响收敛性和泛化性能？
• RQ5 Adam+ 的变体是否能在标准假设下实现最先进收敛速率？

主要发现

• Adam+ 在标准假设下，实现了与最优已知速率相当的迭代复杂度，可证明收敛至 ϵ-驻点。
• 该算法表现出自适应方差减少，即在优化过程中，随机梯度估计器的方差逐渐减小，从而在后期阶段实现更快收敛。
• 实验评估表明，Adam+ 在图像分类、语言建模和自动语音识别任务中显著优于 Adam。
• 尽管仅需极少的超参数调优，Adam+ 的性能仍可与最佳调优的 SGD 和动量 SGD 相媲美。
• Adam+ 的广义变体在相同条件下实现了与最先进方法相当的快速收敛速率。
• 理论分析确认，基于一阶梯度估计范数的自适应步长可改善收敛行为，且无需依赖二阶矩估计。