[论文解读] FastAdaBelief: Improving Convergence Rate for Belief-based Adaptive Optimizers by Exploiting Strong Convexity

Yangfan Zhou, Kaizhu Huang+4 more|arXiv (Cornell University)|Apr 28, 2021

Stochastic Gradient Optimization Techniques参考文献 35被引用 16

一句话总结

该论文提出 FastAdaBelief，一种新型自适应优化算法，通过针对强凸性设计的步长和曲率感知动量，显著提升了强凸和非凸设置下的收敛速度。其达到数据相关的 O(log T) 误差界，远快于 AdaBelief 的 O(√T)，同时保持了优越的泛化能力，在图像分类和语言建模基准测试中，训练速度和测试准确率均优于所有主流优化器。

ABSTRACT

AdaBelief, one of the current best optimizers, demonstrates superior generalization ability compared to the popular Adam algorithm by viewing the exponential moving average of observed gradients. AdaBelief is theoretically appealing in that it has a data-dependent $O(\sqrt{T})$ regret bound when objective functions are convex, where $T$ is a time horizon. It remains however an open problem whether the convergence rate can be further improved without sacrificing its generalization ability. %on how to exploit strong convexity to further improve the convergence rate of AdaBelief. To this end, we make a first attempt in this work and design a novel optimization algorithm called FastAdaBelief that aims to exploit its strong convexity in order to achieve an even faster convergence rate. In particular, by adjusting the step size that better considers strong convexity and prevents fluctuation, our proposed FastAdaBelief demonstrates excellent generalization ability as well as superior convergence. As an important theoretical contribution, we prove that FastAdaBelief attains a data-dependant $O(\log T)$ regret bound, which is substantially lower than AdaBelief. On the empirical side, we validate our theoretical analysis with extensive experiments in both scenarios of strong and non-strong convexity on three popular baseline models. Experimental results are very encouraging: FastAdaBelief converges the quickest in comparison to all mainstream algorithms while maintaining an excellent generalization ability, in cases of both strong or non-strong convexity. FastAdaBelief is thus posited as a new benchmark model for the research community.

研究动机与目标

• 为解决 AdaBelief 在强凸设置下收敛速度是否可进一步提升而不损失泛化能力的开放问题。
• 设计一种利用强凸性以实现比现有基于信念的自适应方法更快收敛速度的自适应优化器。
• 在强凸性条件下，理论上证明所提算法的更紧误差界。
• 通过实证验证 FastAdaBelief 在强凸和非凸深度学习场景中的优越性。

提出的方法

• 引入一种改进的步长，显式考虑强凸性，减少振荡并加速收敛。
• 用一种曲率感知的对角矩阵替代 AdaBelief 中的二阶动量，使其能自适应梯度的 Hessian 类似结构。
• 在动量更新中引入随时间衰减的因子 δ/t，以更精确逼近理想步长并稳定训练过程。
• 为强凸函数推导出新的数据相关误差界 O(log T)，优于 AdaBelief 的 O(√T)。
• 设计一种新颖的自适应学习率机制，结合对梯度的信念与强凸性信息，平衡收敛速度与泛化能力。
• 在标准深度学习任务中应用该算法，使用 CNN 和 LSTMs 模型，并在多个数据集上进行广泛的消融实验与对比。

实验结果

研究问题

• RQ1 在强凸优化中，是否可在不降低泛化能力的前提下提升 AdaBelief 的收敛速度？
• RQ2 一种显式利用强凸性的自适应优化器，其理论误差界是什么？
• RQ3 FastAdaBelief 与 SAdam 及其他 Adam 变体相比，在收敛速度和测试性能方面表现如何？
• RQ4 所提算法在非凸深度学习设置中是否仍能保持快速收敛？

主要发现

• FastAdaBelief 在强凸设置下实现了数据相关的 O(log T) 误差界，显著优于 AdaBelief 的 O(√T)。
• 在 CIFAR-10 上，FastAdaBelief 的收敛速度超过所有基线模型，200 个周期后达到最高测试准确率（96.0%）和最低损失（0.15）。
• 在 Penn Treebank 语言建模任务中，FastAdaBelief 在 3 层 LSTM 上实现最低困惑度 61.21，优于 Adam（64.71）和 AdaBelief（61.23）。
• 在 SVHN 和 CIFAR-100 上，FastAdaBelief 在所有实验中收敛最快，且在所有训练迭代中保持最低的训练损失。
• 尽管收敛更快，FastAdaBelief 仍保持优异的泛化能力，在测试准确率上与 SGD 和 AdaBelief 相当或更优。
• 该算法在多种架构（DenseNet-121、ResNet-34、VGG-11）和任务中表现出强鲁棒性，确立了其作为新型基准优化器的地位。