[论文解读] Demon: Momentum Decay for Improved Neural Network Training

John Chen, C. Wolfe+2 more|arXiv (Cornell University)|May 4, 2021

Stochastic Gradient Optimization Techniques参考文献 27被引用 6

一句话总结

本文提出了Demon，一种衰减动量规则，可随时间减少过去梯度的累积影响，从而提升深度神经网络训练的稳定性和性能。将Demon应用于Adam和动量SGD时，其性能可与学习率衰减相媲美，且对超参数调优的敏感度显著降低。

ABSTRACT

Momentum is a popular technique in deep learning for gradient-based optimizers. We propose a decaying momentum (Demon) rule, motivated by decaying the total contribution of a gradient to all future updates. Applying Demon to Adam leads to significantly improved training, notably competitive to momentum SGD with learning rate decay, even in settings in which adaptive methods are typically non-competitive. Similarly, applying Demon to momentum SGD improves over momentum SGD with learning rate decay in most cases. Notably, Demon momentum SGD is observed to be significantly less sensitive to parameter tuning than momentum SGD with learning rate decay schedule, critical to training neural networks in practice. Results are demonstrated across a variety of settings and architectures, including image classification, generative models, and language models. Demon is easy to implement and tune, and incurs limited extra computational overhead, compared to the vanilla counterparts. Code is readily available.

研究动机与目标

• 解决标准自适应优化器（如Adam）中缺乏动量衰减的问题，该问题可能阻碍训练稳定性和性能。
• 减少对学习率衰减调度的依赖，后者在实践中敏感且难以调优。
• 开发一种动量衰减机制，以在多种架构中提升泛化能力和收敛性。
• 提出一种方法，其实现简单且计算开销低于基线优化器。

提出的方法

• Demon引入一个随时间变化的动量系数，使其随时间衰减，从而减少旧梯度对未来参数更新的贡献。
• 该衰减应用于Adam和动量SGD中的动量项，修改梯度的指数移动平均。
• 衰减计划被设计为逐步减弱历史梯度的影响，模仿学习率衰减的效果，但不改变学习率。
• 该方法仅需对现有优化器进行微小修改，计算开销极低。
• 衰减与学习率独立应用，从而实现更灵活且稳定的训练。
• Demon兼容自适应和非自适应优化器，可在不增加复杂度的前提下提升其性能。

实验结果

研究问题

• RQ1 是否可以通过一种衰减动量规则在不依赖学习率衰减的情况下提升深度神经网络的训练性能？
• RQ2 与使用学习率衰减的动量SGD相比，Demon在准确率和超参数敏感度方面表现如何？
• RQ3 Demon是否能在包括视觉、语言和生成模型在内的多种架构中提升泛化能力？
• RQ4 Demon是否能有效应用于Adam等自适应优化器，尽管这些优化器通常表现不如动量SGD？
• RQ5 Demon在不同任务中如何影响训练稳定性和收敛速度？

主要发现

• 将Demon应用于Adam时，其性能可与使用学习率衰减的动量SGD相媲美，即使在自适应方法通常表现较差的设置中亦如此。
• Demon动量SGD在大多数评估的架构和任务中优于使用学习率衰减的动量SGD。
• Demon显著降低了对超参数调优的敏感度，尤其相较于学习率衰减调度。
• 该方法计算开销可忽略不计，适用于实际训练场景。
• Demon在图像分类、语言建模和生成建模任务中均提升了训练稳定性和收敛性。
• Demon的代码已公开，便于集成与复现。