[论文解读] A Novel Convergence Analysis for Algorithms of the Adam Family

Zhishuai Guo, Yi Xu+3 more|arXiv (Cornell University)|Dec 7, 2021

Stochastic Gradient Optimization Techniques被引用 4

一句话总结

本文提出了一种针对Adam族优化算法（包括Adam、AMSGrad和Adabound）的新型通用收敛性分析。通过仅要求动量参数足够大或递增，以及自适应步长有界，该分析在温和的随机梯度条件下建立了非凸优化的收敛性，同时证明了梯度估计器的方差减小性质。

ABSTRACT

Since its invention in 2014, the Adam optimizer has received tremendous attention. On one hand, it has been widely used in deep learning and many variants have been proposed, while on the other hand their theoretical convergence property remains to be a mystery. It is far from satisfactory in the sense that some studies require strong assumptions about the updates, which are not necessarily applicable in practice, while other studies still follow the original problematic convergence analysis of Adam, which was shown to be not sufficient to ensure convergence. Although rigorous convergence analysis exists for Adam, they impose specific requirements on the update of the adaptive step size, which are not generic enough to cover many other variants of Adam. To address theses issues, in this extended abstract, we present a simple and generic proof of convergence for a family of Adam-style methods (including Adam, AMSGrad, Adabound, etc.). Our analysis only requires an increasing or large "momentum" parameter for the first-order moment, which is indeed the case used in practice, and a boundness condition on the adaptive factor of the step size, which applies to all variants of Adam under mild conditions of stochastic gradients. We also establish a variance diminishing result for the used stochastic gradient estimators. Indeed, our analysis of Adam is so simple and generic that it can be leveraged to establish the convergence for solving a broader family of non-convex optimization problems, including min-max, compositional, and bilevel optimization problems. For the full (earlier) version of this extended abstract, please refer to arXiv:2104.14840.

研究动机与目标

• 解决在非凸深度学习设置中Adam及其变体缺乏严格且实用的收敛性保证的问题。
• 克服先前分析中对梯度更新或自适应步长行为的强或不切实际假设的局限性。
• 在单一、简单的框架下统一分析多种Adam风格算法的收敛性。
• 建立条件，使这些方法中使用的随机梯度估计器表现出方差减少。
• 将收敛性结果的应用范围从标准最小化问题扩展到更广泛的优化问题类别，如极小极大和双层问题。

提出的方法

• 提出一种基于动量参数递增或足够大的新收敛性证明框架，该条件在实践中通常成立。
• 引入对步长自适应因子的有界性条件，该条件在温和的随机梯度假设下对所有主要Adam变体均成立。
• 利用算法中使用的随机梯度估计器的方差减小性质，确保收敛的稳定性。
• 将分析应用于广泛的非凸优化问题家族，包括极小极大和复合优化问题。
• 使用统一的数学结构分析多种算法（如Adam、AMSGrad、Adabound），而无需进行算法特定的推导。
• 在最小假设下建立收敛性，避免了先前理论工作中存在的严格限制条件。

实验结果

研究问题

• RQ1 能否为Adam族算法开发一种适用于原始Adam优化器之外的统一且简单的收敛性分析？
• RQ2 在非凸设置中，对动量和自适应步长的最小假设是什么，足以保证收敛？
• RQ3 如何控制随机梯度估计器的方差，以在实践中支持收敛？
• RQ4 所提出的分析能否扩展到标准最小化之外的非凸问题，如极小极大和双层优化？
• RQ5 为何现有理论分析无法在实践中确保收敛，以及如何解决这一问题？

主要发现

• 所提出的收敛性分析在温和且实用的假设下，可通用地适用于Adam、AMSGrad、Adabound及其他变体。
• 当动量参数足够大或递增时，收敛性可得到保证，这一条件在实际训练设置中通常满足。
• 在随机梯度的温和条件下，自适应步长因子保持有界，确保了更新过程的稳定性。
• 该方法中使用的随机梯度估计器表现出方差减小性质，支持收敛。
• 该分析框架具有足够的通用性，可扩展至非凸问题，如极小极大和双层优化。
• 理论结果比先前分析更简单且更具实用性，避免了限制实际应用的过度严格假设。