[论文解读] A Sufficient Condition for Convergences of Adam and RMSProp

Fangyu Zou, Li Shen+3 more|arXiv (Cornell University)|Nov 23, 2018

Stochastic Gradient Optimization Techniques参考文献 22被引用 28

一句话总结

该论文提出了一种新颖的、易于验证的充分条件，用于保证Adam和RMSProp在非凸随机优化中的全局收敛性，该条件仅基于基础学习率与历史二阶矩的组合。该条件确保了收敛性，而无需学习率衰减或批量大小调整，并通过将Adam重新解释为带有指数移动平均动量的加权AdaGrad，解释了发散现象。

ABSTRACT

Adam and RMSProp are two of the most influential adaptive stochastic algorithms for training deep neural networks, which have been pointed out to be divergent even in the convex setting via a few simple counterexamples. Many attempts, such as decreasing an adaptive learning rate, adopting a big batch size, incorporating a temporal decorrelation technique, seeking an analogous surrogate, etc., have been tried to promote Adam/RMSProp-type algorithms to converge. In contrast with existing approaches, we introduce an alternative easy-to-check sufficient condition, which merely depends on the parameters of the base learning rate and combinations of historical second-order moments, to guarantee the global convergence of generic Adam/RMSProp for solving large-scale non-convex stochastic optimization. Moreover, we show that the convergences of several variants of Adam, such as AdamNC, AdaEMA, etc., can be directly implied via the proposed sufficient condition in the non-convex setting. In addition, we illustrate that Adam is essentially a specifically weighted AdaGrad with exponential moving average momentum, which provides a novel perspective for understanding Adam and RMSProp. This observation coupled with this sufficient condition gives much deeper interpretations on their divergences. At last, we validate the sufficient condition by applying Adam and RMSProp to tackle a certain counterexample and train deep neural networks. Numerical results are exactly in accord with our theoretical analysis.

研究动机与目标

• 解决Adam和RMSProp在非凸设置下尽管实证表现成功但已知存在发散问题的挑战。
• 识别一种简单且可验证的条件，以保证Adam和RMSProp在不依赖学习率衰减或批量大小调整的情况下实现全局收敛。
• 通过统一的理论框架，解释多个Adam/RMSProp变体的收敛行为。
• 通过将Adam重新解释为带有指数移动平均动量的加权AdaGrad，提供对Adam和RMSProp可能发散原因的更深层次洞察。

提出的方法

• 提出了一种仅依赖于基础学习率和Adam/RMSProp中历史二阶矩组合的充分收敛条件。
• 将Adam重新解释为一种特定加权的AdaGrad，带有指数移动平均动量，为理解其动态行为提供了新视角。
• 将该充分条件应用于证明在非凸随机设置下多个Adam变体（包括AdamNC和AdaEMA）的收敛性。
• 在不同参数设置下，推导了通用Adam算法的非渐近收敛速率，显示了根据参数指数的不同，收敛速率为O(log(T)/√T)、O(1/T^{1-s})和O(T^{-r/2})。
• 通过反例和深度学习任务（MNIST、CIFAR-100）的数值实验验证了理论发现，结果与理论预测一致。

实验结果

研究问题

• RQ1 在非凸随机优化中，何种充分条件可确保Adam和RMSProp的全局收敛？
• RQ2 为何Adam和RMSProp有时会发散，其根本机制是什么？
• RQ3 多个Adam型变体的收敛性能否通过单一理论条件统一？
• RQ4 将Adam重新解释为带有指数移动平均动量的加权AdaGrad，如何解释其收敛或发散行为？
• RQ5 在所提出的条件下，针对不同参数设置，可推导出哪些非渐近收敛速率？

主要发现

• 所提出的充分条件仅基于基础学习率和历史二阶矩组合，即可保证通用Adam和RMSProp在非凸随机优化中的全局收敛。
• 该条件通过识别学习率与动量更新之间平衡的失效，解释了Adam和RMSProp的发散现象，特别是当逆学习率之差变为非正时。
• AdamNC、AdaEMA及其他变体的收敛性可直接由所提出的条件推导得出，从而提供了统一的理论基础。
• 在反例和深度神经网络（LeNet在MNIST上，ResNet-18在CIFAR-100上）上的数值实验表明，实际训练行为与理论收敛速率一致。
• 当权重按t^r增长（r ≥ 0）且基础学习率α_t = η/√t时，通用Adam的收敛速率被证明为O(log(T)/√T)，且r越大收敛越快。
• 本文确立了Adam本质上是带有指数移动平均动量的加权AdaGrad，这一新解释为理解其收敛行为和失败模式提供了清晰视角。