[论文解读] Eve: A Gradient Based Optimization Method with Locally and Globally Adaptive Learning Rates

Hiroaki Hayashi, Jayanth Koushik+1 more|arXiv (Cornell University)|Nov 4, 2016

Stochastic Gradient Optimization Techniques参考文献 11被引用 14

一句话总结

Eve 是一种新颖的自适应优化方法，通过引入基于目标函数变化和次优性的反馈系数 dt，实现了全局自适应学习率，从而在 Adam 的基础上进行了改进。实验结果表明，与 Adam 及学习率衰减策略相比，Eve 在卷积神经网络（CNNs）和循环神经网络（RNNs）上实现了更快的收敛速度和更优的性能，且无需手动调整衰减超参数。

ABSTRACT

Adaptive gradient methods for stochastic optimization adjust the learning rate for each parameter locally. However, there is also a global learning rate which must be tuned in order to get the best performance. In this paper, we present a new algorithm that adapts the learning rate locally for each parameter separately, and also globally for all parameters together. Specifically, we modify Adam, a popular method for training deep learning models, with a coefficient that captures properties of the objective function. Empirically, we show that our method, which we call Eve, outperforms Adam and other popular methods in training deep neural networks, like convolutional neural networks for image classification, and recurrent neural networks for language tasks.

研究动机与目标

• 为解决在类似 Adam 的自适应优化方法中手动调节全局学习率的挑战。
• 通过根据目标函数行为动态调整全局学习率，提升深度神经网络的训练收敛速度和性能。
• 减少对需要精细调优的启发式学习率衰减调度的依赖。
• 开发一种结合局部参数自适应与全局学习率自适应的方法，利用目标函数的反馈信息。

提出的方法

• Eve 通过引入一个标量系数 dt 来修改 Adam，使全局学习率自适应调整为 αt = α1/dt。
• 系数 dt 基于两个特性计算：连续目标函数值的变化 |ft − ft−1| 和次优性 (f⋆ − ft)。
• 高变化量会降低 dt，从而减小学习率；高次优性则会增加 dt，从而增大学习率。
• 该方法使用目标函数变化量和次优性的运行平均值来计算 dt，其中超参数 β3 和 c 控制其敏感度。
• Eve 保留了原始 Adam 的更新规则，但将固定的全局学习率 αt 替换为自适应的 αt = α1/dt。
• 该算法计算效率高，且除标准 Adam 外，仅需极少的内存开销。

实验结果

研究问题

• RQ1 与固定或衰减学习率相比，全局自适应学习率是否能提升深度神经网络中的优化性能？
• RQ2 结合目标函数变化和次优性的反馈信息，是否能实现更快的收敛速度和更好的泛化性能？
• RQ3 Eve 是否能在无需手动调优衰减超参数的情况下，超越 Adam 及其他自适应优化器？
• RQ4 Eve 在不同 β3 和 c 的超参数设置下表现是否具有鲁棒性？
• RQ5 Eve 是否能在消除衰减强度调优需求的同时，实现与学习率衰减策略相当或更优的性能？

主要发现

• 在 CIFAR-100 图像分类任务中，Eve 在收敛速度和最终损失方面均优于 Adam 和 Adamax。
• 在 bAbI-10k 问答任务中，Eve 在相同模型架构下表现优于 Adam。
• Eve 的性能与指数衰减、1/t 和 1/√t 衰减策略的最优结果相当或更优，且无需调优衰减强度。
• 在不同 β3 和 c 的超参数设置下，Eve 均一致优于 Adam，其中默认值（β3=0.999，c=10）达到接近最优性能。
• Adam 的性能在衰减强度不理想时波动显著，而 Eve 在所有测试设置下均保持稳定且强劲的表现。
• Eve 通过利用目标函数反馈自动调节全局学习率，显著减少了对超参数调优的依赖。