[论文解读] Calibrating the Adaptive Learning Rate to Improve Convergence of ADAM

Qianqian Tong, Guannan Liang+1 more|arXiv (Cornell University)|Aug 2, 2019

Stochastic Gradient Optimization Techniques被引用 11

一句话总结

本文提出了 Sadam 和 SAMSGrad，这两种自适应优化方法通过使用软阈值激活函数校准 Adam 中的自适应学习率（A-LR），以减少参数维度间的各向异性。通过在理论上将收敛性与超参数 ε 关联，并在实证中展示出更好的泛化性能，这些方法在深度学习任务中实现了比 Adam 及其他自适应梯度方法（AGMs）更快的收敛速度和更优的测试性能。

ABSTRACT

Adaptive gradient methods (AGMs) have become popular in optimizing the nonconvex problems in deep learning area. We revisit AGMs and identify that the adaptive learning rate (A-LR) used by AGMs varies significantly across the dimensions of the problem over epochs (i.e., anisotropic scale), which may lead to issues in convergence and generalization. All existing modified AGMs actually represent efforts in revising the A-LR. Theoretically, we provide a new way to analyze the convergence of AGMs and prove that the convergence rate of extsc{Adam} also depends on its hyper-parameter $ε$, which has been overlooked previously. Based on these two facts, we propose a new AGM by calibrating the A-LR with an activation ({\em softplus}) function, resulting in the extsc{Sadam} and extsc{SAMSGrad} methods \footnote{Code is available at https://github.com/neilliang90/Sadam.git.}. We further prove that these algorithms enjoy better convergence speed under nonconvex, non-strongly convex, and Polyak-Łojasiewicz conditions compared with extsc{Adam}. Empirical studies support our observation of the anisotropic A-LR and show that the proposed methods outperform existing AGMs and generalize even better than S-Momentum in multiple deep learning tasks.

研究动机与目标

• 为解决 Adam 中自适应学习率（A-LR）的各向异性问题，该问题可能降低泛化性能。
• 理论上分析超参数 ε 如何影响自适应梯度方法（AGMs）的收敛性。
• 提出一种基于软阈值函数的 A-LR 校准机制，以提升收敛速度和泛化性能。
• 开发 Sadam 和 SAMSGrad 作为 Adam 的改进版本，在非凸和 Polyak-Łojasiewicz 条件下具备可证明的收敛性。
• 通过实证验证，校准后的 A-LR 能够减小泛化差距，并优于现有 AGMs 和 S-Momentum。

提出的方法

• 提出基于软阈值函数的 Adam 中自适应学习率（A-LR）校准方法，将 $ \frac{1}{\sqrt{v_t} + \epsilon} $ 替换为 $ \frac{1}{\text{softplus}(v_t) + \epsilon} $，以实现更平滑和稳定的更新。
• 引入 Sadam 作为 Adam 的软阈值校准版本，以及 SAMSGrad 作为其类似 AMSGrad 的变体，采用对二阶动量的最大池化机制。
• 理论分析表明，收敛性依赖于 ε，而这一因素此前被忽略；证明了 Sadam 在非凸、非强凸及 Polyak-Łojasiewicz 条件下可达到与 Adam 相同的收敛速率。
• 该方法确保了 A-LR 在各维度上的有界性，降低了对高梯度坐标过拟合的风险。
• 软阈值函数提供了平滑且可微的校准方式，避免了硬截断，相比基于阈值的方法（如 AdaBound）具有更优的优化动态。
• 理论收敛性证明已扩展至包含 ε 和校准后 A-LR 的影响，表明其具有更高的稳定性和更快的收敛速度。

实验结果

研究问题

• RQ1 Adam 中的自适应学习率（A-LR）在不同参数维度上如何呈现各向异性？这种各向异性对收敛性和泛化性能有何影响？
• RQ2 为何 Adam 的 A-LR 公式中的超参数 ε 在收敛性分析中长期被忽略？它如何影响优化性能？
• RQ3 能否通过软阈值函数校准 A-LR，以提升深度学习模型的收敛速度和泛化性能？
• RQ4 所提出的 Sadam 和 SAMSGrad 是否在保持与 Adam 相同收敛速率的同时，提升了泛化性能？
• RQ5 Sadam 和 SAMSGrad 在多种深度学习任务中，与 Adam、S-Momentum 及其他 AGMs 相比，实证表现如何？

主要发现

• 实证结果证实，Adam 中的 A-LR 存在显著的各向异性，不同参数维度间变化明显，可能导致次优的收敛与泛化。
• 理论分析揭示，Adam 的收敛速率依赖于超参数 ε，而这一因素在多数先前分析中被忽略。
• 在非凸、非强凸及 Polyak-Łojasiewicz 条件下，Sadam 和 SAMSGrad 的收敛速度优于 Adam，且具备可证明的稳定性。
• 在多个深度学习基准测试中，Sadam 和 SAMSGrad 的泛化性能优于 Adam，甚至在测试准确率上超过 S-Momentum。
• 基于软阈值的 A-LR 校准提供了比硬截断（如 AdaBound）更平滑、更稳定的更新机制，从而改善了优化动态。
• 在适当的学习率调度策略下（如 $ \eta = O(1/T^2) $），Sadam 可实现 $ O(1/T) $ 的收敛速率，与 Adam 的理论边界一致，同时提升了泛化性能。