[论文解读] Towards Practical Adam: Non-Convexity, Convergence Theory, and Mini-Batch Acceleration

Congliang Chen, Li Shen+2 more|arXiv (Cornell University)|Jan 14, 2021

Stochastic Gradient Optimization Techniques参考文献 44被引用 15

一句话总结

本文提出了一种简单且易于验证的全局收敛性充分条件，适用于非凸随机优化中的Adam优化器，解决了已知的发散问题。此外，本文进一步建立了小批量和分布式Adam的线性加速特性，表明收敛性能随批量大小或节点数量增加而提升，该结论在真实世界数据集上得到了实证验证。

ABSTRACT

Adam is one of the most influential adaptive stochastic algorithms for training deep neural networks, which has been pointed out to be divergent even in the simple convex setting via a few simple counterexamples. Many attempts, such as decreasing an adaptive learning rate, adopting a big batch size, incorporating a temporal decorrelation technique, seeking an analogous surrogate, extit{etc.}, have been tried to promote Adam-type algorithms to converge. In contrast with existing approaches, we introduce an alternative easy-to-check sufficient condition, which merely depends on the parameters of the base learning rate and combinations of historical second-order moments, to guarantee the global convergence of generic Adam for solving large-scale non-convex stochastic optimization. This observation, coupled with this sufficient condition, gives much deeper interpretations on the divergence of Adam. On the other hand, in practice, mini-Adam and distributed-Adam are widely used without any theoretical guarantee. We further give an analysis on how the batch size or the number of nodes in the distributed system affects the convergence of Adam, which theoretically shows that mini-batch and distributed Adam can be linearly accelerated by using a larger mini-batch size or a larger number of nodes.At last, we apply the generic Adam and mini-batch Adam with the sufficient condition for solving the counterexample and training several neural networks on various real-world datasets. Experimental results are exactly in accord with our theoretical analysis.

研究动机与目标

• 通过识别一种简单且可验证的全局收敛性充分条件，解决非凸优化中Adam已知的发散问题。
• 为缺乏先前收敛性保证的小批量和分布式Adam提供理论依据。
• 在参数服务器模型下，建立小批量和分布式Adam的线性加速特性。
• 通过真实世界神经网络训练任务的实验，验证理论发现。

提出的方法

• 提出一种仅依赖于基础学习率和历史二阶矩组合的通用Adam全局收敛性充分条件。
• 利用一种改进的分析技术，在该条件下推导出通用Adam的收敛速率，所得边界比以往工作更简洁。
• 在参数服务器模型下分析小批量Adam和分布式Adam，证明收敛速率与批量大小和节点数量呈线性加速关系。
• 采用一种新颖的不等式技术来界定梯度的范数，从而实现更紧致的收敛速率推导。
• 使用一种改进的分析框架，以处理非凸设置下时变学习率和自适应动量项的问题。
• 通过反例和真实世界深度学习任务的实验，验证理论结果。

实验结果

研究问题

• RQ1 是否存在一种简单且易于验证的条件，可保证非凸随机优化中Adam的全局收敛性？
• RQ2 增大批量大小如何影响小批量Adam的收敛速率？
• RQ3 在参数服务器模型下，分布式Adam能否实现线性加速？
• RQ4 所提出的收敛条件是否能解决Adam中已知的发散问题？
• RQ5 在新提出的充分条件下，Adam的理论收敛速率是多少？

主要发现

• 所提出的充分条件可确保通用Adam在非凸随机优化中的全局收敛性，为已知发散问题提供了实用解决方案。
• 通用Adam的收敛速率被限制在 $\mathcal{O}(T^{-1}s^{1/2}d^{1/2} + T^{-1/2}d + T^{-1/3}s^{-1/4} + T^{-1/4}s^{-1/4}d^{1/2})$ 以内，其中 $T$ 为迭代次数，$s$ 为批量大小，$d$ 为维度。
• 小批量Adam实现了线性加速：收敛性能随批量大小增加而按比例改善，与理论预测一致。
• 在参数服务器模型下，分布式Adam也表现出与节点数量成线性加速的关系。
• 在反例和真实世界数据集上的实证结果，证实了理论预测的收敛行为和加速效应。
• 该分析方法相比以往工作得出了更简洁的收敛速率，尤其在处理时变学习率和自适应动量项方面表现更优。