[论文解读] Disentangling Adaptive Gradient Methods from Learning Rates

Naman Agarwal, Rohan Anil+3 more|arXiv (Cornell University)|Feb 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用 8

一句话总结

本文提出了一种名为'嫁接'（grafting）的方法，将优化更新的大小与方向解耦，揭示了学习率调度（而非自适应预条件）才是深度学习优化器性能差异的主要驱动因素。关键发现是，训练曲线和泛化性能主要受隐式步长调度的影响，而非自适应方法本身。实证验证表明，通过嫁接校正AdaGrad的学习率调度可显著提升性能。

ABSTRACT

We investigate several confounding factors in the evaluation of optimization algorithms for deep learning. Primarily, we take a deeper look at how adaptive gradient methods interact with the learning rate schedule, a notoriously difficult-to-tune hyperparameter which has dramatic effects on the convergence and generalization of neural network training. We introduce a "grafting" experiment which decouples an update's magnitude from its direction, finding that many existing beliefs in the literature may have arisen from insufficient isolation of the implicit schedule of step sizes. Alongside this contribution, we present some empirical and theoretical retrospectives on the generalization of adaptive gradient methods, aimed at bringing more clarity to this space.

研究动机与目标

• 为解决在评估自适应优化器时隐式学习率调度带来的混淆效应。
• 将自适应预条件的真实影响与学习率动态分离，以更准确地评估深度学习优化中的自适应方法。
• 通过将步长大小与更新方向解耦，提供一种评估优化器的诊断工具。
• 在混淆超参数相互作用的背景下，重新评估关于自适应方法泛化性能的长期主张。
• 证明许多关于优化器的实证信念可能源于对学习率调度的解耦不足。

提出的方法

• 提出一种名为'嫁接'的元优化器，将来自一个优化器（如SGD）的更新方向与来自另一个优化器（如AdaGrad）的步长大小相结合，从而实现对步长大小与更新方向的独立控制。
• 引入两种嫁接变体：逐层嫁接（每层独立的步长大小）和全局嫁接（单一标量大小），两者均用于隔离步长调度的影响。
• 将嫁接用作诊断工具，通过固定大小来源并改变方向，评估自适应预条件的独立贡献。
• 在大规模视觉和自然语言处理模型（ResNet、Transformer）上应用嫁接，实证检验学习率调度对自适应行为的主导作用。
• 利用嫁接发现AdaGrad步长的线性递增调度校正方法，显著提升图像分类任务的性能。
• 对先前工作（如[WRS+17]）进行复现研究，评估关于自适应方法泛化性能较差的主张的稳健性。

实验结果

研究问题

• RQ1 在深度学习中，隐式学习率调度而非自适应预条件，在多大程度上决定了优化器的性能？
• RQ2 通过校正其隐式步长调度，能否提升AdaGrad等自适应优化器的性能？
• RQ3 为何优化器选择在自然语言处理（如Transformer）中比在计算机视觉（如ResNet）中表现得更脆弱？
• RQ4 学习率调度等混淆因素如何掩盖自适应优化方法的真实评估？
• RQ5 嫁接能否用于发现新的、有效的优化算法或超参数调度？

主要发现

• 在ResNet和Transformer模型中，训练曲线和最终性能主要由大小来源（即隐式学习率调度）决定，而非更新方向。
• 逐层嫁接表明，即使不进行额外调优，选择不同的大小来源（如AdaGrad与SGD）对性能的影响也强于选择不同的方向。
• 对AdaGrad的步长实施线性递增调度校正，可显著提升其在图像模型上的性能，包括在CIFAR-10上的VGGNet。
• 全局嫁接在视觉模型（ResNet）中有效，但在自然语言处理模型（Transformer）中失败，除非全局学习率经过仔细调优，表明NLP模型对学习率更敏感。
• 嫁接所隐含的逐层步长校正表明，在Transformer中AdaGrad与SGD的步长大小差异可达五个数量级，解释了NLP中优化器选择的脆弱性。
• 对[WRS+17]实验的复现表明，原始研究关于自适应方法泛化性能较差的结论可能无法推广至CIFAR-10之外，且AdaGrad的线性校正方法可成功迁移至ImageNet。