[论文解读] Convergence of Adam Under Relaxed Assumptions

Haochuan Li, Alexander Rakhlin+1 more|arXiv (Cornell University)|Apr 27, 2023

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

该论文在更宽松、更现实的假设下，首次为Adam优化器建立了收敛至$ε$-平稳点的理论保证——具体而言，是广义非均匀光滑性条件，且无需假设梯度有界。作者通过一种新颖的证明技术，实现了$Ó(\epsilon^{-4})$的梯度复杂度，该技术将梯度有界性作为结果推导得出，而非作为先验假设；此外，进一步提出了一种方差减少变体，实现了$Ó(\epsilon^{-3})$的复杂度。

ABSTRACT

In this paper, we provide a rigorous proof of convergence of the Adaptive Moment Estimate (Adam) algorithm for a wide class of optimization objectives. Despite the popularity and efficiency of the Adam algorithm in training deep neural networks, its theoretical properties are not yet fully understood, and existing convergence proofs require unrealistically strong assumptions, such as globally bounded gradients, to show the convergence to stationary points. In this paper, we show that Adam provably converges to $ε$-stationary points with ${O}(ε^{-4})$ gradient complexity under far more realistic conditions. The key to our analysis is a new proof of boundedness of gradients along the optimization trajectory of Adam, under a generalized smoothness assumption according to which the local smoothness (i.e., Hessian norm when it exists) is bounded by a sub-quadratic function of the gradient norm. Moreover, we propose a variance-reduced version of Adam with an accelerated gradient complexity of ${O}(ε^{-3})$.

研究动机与目标

• 弥合Adam优化器在非凸优化中经验成功与理论理解之间的差距。
• 消除现有Adam收敛证明中对全局梯度有界的不现实假设。
• 在局部Hessian范数由梯度范数的次二次函数有界的广义光滑性条件下，建立收敛性。
• 在更现实的条件下，实现收敛至$ε$-平稳点的无维度梯度复杂度。
• 提出并分析一种改进收敛速率的方差减少版Adam。

提出的方法

• 引入广义光滑性假设，其中局部Hessian范数由梯度范数的次二次函数有界，从而放宽标准的全局Lipschitz光滑性要求。
• 开发一种新颖的证明技术，将梯度沿Adam轨迹的有界性作为广义光滑性和噪声假设的结果推导得出，而非预先假设。
• 利用高概率浓度不等式和马尔可夫不等式，控制大梯度或次优迭代点出现的概率。
• 通过修改其动量更新规则，受STORM算法启发，提出一种方差减少版Adam，以加速收敛。
• 在个体分量函数$f(\cdot, \xi)$上引入额外的广义光滑性假设，分析新算法。
• 利用梯度有界性结果，将Adam的分析简化为AdaBound的分析，从而在更宽松条件下简化收敛性证明。

实验结果

研究问题

• RQ1 在不假设全局有界梯度或Lipschitz连续梯度的前提下，能否证明Adam收敛至$ε$-平稳点？
• RQ2 广义非均匀光滑性条件（即局部光滑性随梯度范数增长为次二次）是否足以保证Adam的收敛性？
• RQ3 在这些宽松假设下，Adam的梯度复杂度能否保持在$Ó(\epsilon^{-4})$？
• RQ4 能否成功将方差减少技术整合进Adam，以实现$Ó(\epsilon^{-3})$的更快收敛速率？
• RQ5 能否将梯度有界性作为优化过程的结果推导得出，而非作为假设？

主要发现

• 论文证明了在广义光滑性假设下，且无需假设梯度有界时，Adam可实现$Ó(\epsilon^{-4})$的梯度复杂度收敛至$ε$-平稳点。
• 提出的新证明技术表明，即使缺乏全局Lipschitz性，梯度范数沿Adam轨迹以高概率保持有界。
• 梯度有界性由广义光滑性条件和噪声假设推导得出，从而将常见假设转化为可证明的结果。
• 所提出的方差减少版Adam在对分量函数额外施加广义光滑性假设下，实现了$Ó(\epsilon^{-3})$的改进梯度复杂度。
• 分析表明，在宽松条件下，Adam的收敛速率与在更强假设下已知的最佳速率相当，体现出鲁棒性。
• 结果为无维度，且在中心化、有界的梯度噪声下成立，使其适用于深度学习中的随机优化。