[论文解读] Adam Can Converge Without Any Modification On Update Rules

Yushun Zhang, Congliang Chen+3 more|arXiv (Cornell University)|Aug 20, 2022

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文在一种新的理论框架下证明了，Adam 优化器在不修改其更新规则的前提下，能够收敛到临界点的邻域，该框架逆转了超参数与问题选择的顺序。当 β₂ 较大且 β₁ < √β₂ < 1 时，证明了其收敛性，涵盖了标准设置如 β₁ = 0.9，并揭示了随着 β₂ 增大，行为从发散到收敛的相变现象。

ABSTRACT

Ever since Reddi et al. 2018 pointed out the divergence issue of Adam, many new variants have been designed to obtain convergence. However, vanilla Adam remains exceptionally popular and it works well in practice. Why is there a gap between theory and practice? We point out there is a mismatch between the settings of theory and practice: Reddi et al. 2018 pick the problem after picking the hyperparameters of Adam, i.e., $(β_1, β_2)$; while practical applications often fix the problem first and then tune $(β_1, β_2)$. Due to this observation, we conjecture that the empirical convergence can be theoretically justified, only if we change the order of picking the problem and hyperparameter. In this work, we confirm this conjecture. We prove that, when $β_2$ is large and $β_1 &lt; \sqrt{β_2}&lt;1$, Adam converges to the neighborhood of critical points. The size of the neighborhood is propositional to the variance of stochastic gradients. Under an extra condition (strong growth condition), Adam converges to critical points. It is worth mentioning that our results cover a wide range of hyperparameters: as $β_2$ increases, our convergence result can cover any $β_1 \in [0,1)$ including $β_1=0.9$, which is the default setting in deep learning libraries. To our knowledge, this is the first result showing that Adam can converge without any modification on its update rules. Further, our analysis does not require assumptions of bounded gradients or bounded 2nd-order momentum. When $β_2$ is small, we further point out a large region of $(β_1,β_2)$ where Adam can diverge to infinity. Our divergence result considers the same setting as our convergence result, indicating a phase transition from divergence to convergence when increasing $β_2$. These positive and negative results can provide suggestions on how to tune Adam hyperparameters.

研究动机与目标

• 解决 Adam 优化器收敛性长期存在的理论-实践差距。
• 识别在不修改算法的前提下，原始 Adam 收敛的条件。
• 解释为何 Adam 在实践中表现良好，尽管先前的理论研究显示其存在发散问题。
• 建立一个与实际超参数调优顺序一致的收敛理论框架。
• 刻画随着 β₂ 增大，Adam 行为从发散到收敛的相变特征。

提出的方法

• 通过首先固定优化问题，再调整 β₁ 和 β₂ 的方式重新构建理论分析，与以往先固定超参数的研究方法相反。
• 证明当 β₂ 较大且 β₁ < √β₂ < 1 时，Adam 收敛到临界点的邻域。
• 在强增长条件下，证明 Adam 收敛到临界点，而不仅限于其邻域，且无需假设梯度有界或二阶动量有界。
• 利用与收敛结果相同的框架，分析当 β₂ 较小时在 (β₁, β₂) 参数区域内的发散现象。
• 采用一种新颖的分析技术，考虑收敛邻域内随机梯度的方差影响。
• 提出一个统一的理论框架，基于 β₂ 的取值解释 Adam 的收敛与发散行为。

实验结果

研究问题

• RQ1 为何 Adam 在实践中收敛，尽管先前的研究理论表明其会发散？
• RQ2 在现实的超参数设置下，原始 Adam 是否能在不修改其更新规则的前提下收敛？
• RQ3 β₂ 在决定 Adam 收敛或发散方面起什么作用？
• RQ4 随着 β₂ 增大，Adam 的行为是否存在相变？
• RQ5 能否在不假设梯度有界或二阶动量有界的情况下证明收敛？

主要发现

• 当 β₂ 较大且 β₁ < √β₂ < 1 时，Adam 收敛到临界点的邻域，且邻域大小与随机梯度方差成正比。
• 在强增长条件下，Adam 收敛到临界点，而不仅限于其邻域。
• 该收敛结果覆盖了所有标准的 β₁ 取值，包括深度学习库中的默认值 β₁ = 0.9。
• 识别出小 β₂ 时的发散区域，表明随着 β₂ 增大，行为存在从发散到收敛的相变。
• 该分析无需假设梯度有界或二阶动量有界，因此比以往工作更具普适性。
• 理论框架与实际的超参数调优顺序一致，解决了理论与实践之间的不匹配问题。