[论文解读] AdaSGD: Bridging the gap between SGD and Adam

Jiaxuan Wang, Jenna Wiens|arXiv (Cornell University)|Jun 30, 2020

Stochastic Gradient Optimization Techniques参考文献 34被引用 5

一句话总结

AdaSGD 通过自适应调整单一全局学习率，对 SGD 进行了简单修改，结合了 Adam 的收敛速度与 SGD 的泛化性能。实验结果表明，它在多个数据集和架构上缩小了 Adam 与 SGD 之间的性能差距，且无需过渡调度或额外超参数。

ABSTRACT

In the context of stochastic gradient descent(SGD) and adaptive moment estimation (Adam),researchers have recently proposed optimization techniques that transition from Adam to SGD with the goal of improving both convergence and generalization performance. However, precisely how each approach trades off early progress and generalization is not well understood; thus, it is unclear when or even if, one should transition from one approach to the other. In this work, by first studying the convex setting, we identify potential contributors to observed differences in performance between SGD and Adam. In particular,we provide theoretical insights for when and why Adam outperforms SGD and vice versa. We ad-dress the performance gap by adapting a single global learning rate for SGD, which we refer to as AdaSGD. We justify this proposed approach with empirical analyses in non-convex settings. On several datasets that span three different domains,we demonstrate how AdaSGD combines the benefits of both SGD and Adam, eliminating the need for approaches that transition from Adam to SGD.

研究动机与目标

• 理解为何在某些设置下 Adam 优于 SGD，反之亦然，特别是从早期收敛与泛化能力的角度。
• 研究在观察到性能差异的情况下，是否确实需要从 Adam 到 SGD 的过渡方法。
• 开发一种统一的优化方法，结合 Adam 和 SGD 的优势，而无需复杂的调度变化。
• 证明在非凸深度学习设置下，SGD 中单一自适应全局学习率即可实现与 Adam 相当的性能。

提出的方法

• 提出 AdaSGD，一种基于梯度统计信息自适应缩放全局学习率的 SGD 变体，其灵感来自 Adam 的自适应机制，但应用于全局而非每个参数。
• 在凸二次设置下进行理论分析，以识别 Adam 优于 SGD 或反之的时机与原因，重点关注学习率敏感性与隐式正则化。
• 在三个领域（图像分类（CIFAR-10）、语言建模（WikiText-2）、医疗预测（MIMIC-3））的深度神经网络上应用 AdaSGD。
• 通过网格搜索和固定学习率衰减调度，将 AdaSGD 与 SGD、Adam 以及过渡方法（如 AdaBound、Swats）进行比较。
• 使用验证性能进行超参数调优，并在测试集上使用标准指标（准确率、AUC 和困惑度）进行评估。
• 使用 PyTorch 实现，并在补充材料中包含匿名化代码。

实验结果

研究问题

• RQ1 在何种设置下 Adam 优于 SGD，原因是什么，特别是从学习率敏感性和泛化能力的角度？
• RQ2 是否可以通过对 SGD 的简单修改——具体而言，自适应全局学习率缩放——在不进行从 Adam 到 SGD 过渡的情况下，弥合与 Adam 的性能差距？
• RQ3 AdaSGD 与现有过渡方法（如 AdaBound 和 Swats）相比，在多样化深度学习任务中的鲁棒性和性能表现如何？
• RQ4 Adam 对学习率选择的鲁棒性是否源于参数级自适应？还是仅通过全局学习率自适应即可实现？

主要发现

• AdaSGD 在 CIFAR-10、WikiText-2 和 MIMIC-3 上实现了与 Adam 相当的性能，无需过渡调度即可弥合 Adam 与 SGD 之间的性能差距。
• 在通过网格搜索调优超参数后，AdaSGD 与 Adam 在所有三个数据集上的表现相似，而 SGD 对学习率选择极为敏感。
• 在固定学习率及衰减设置下，SGD 的性能显著低于其调优版本，而 AdaSGD 的性能在调优后仅略有提升，表明其具有高度鲁棒性。
• 过渡方法如 AdaBound 和 Swats 并未始终优于 Adam 或 AdaSGD；AdaBound 在 WikiText-2 上表现较差，且对超参数敏感。
• 结果表明，Adam 的鲁棒性并非源于参数级自适应本身，而是可以通过在 SGD 中仅使用全局学习率自适应即可复制。
• 在 Tiny ImageNet、使用 100 层 DenseNet 的 CIFAR-100，以及使用变分自编码器的 MNIST 上的大量实验进一步证实，AdaSGD 在多样化架构和任务中均表现出良好的泛化能力。