[论文解读] A novel adaptive learning rate scheduler for deep neural networks

Rahul Yedida, Snehanshu Saha|arXiv (Cornell University)|Jan 1, 2019

Advanced Neural Network Applications参考文献 18被引用 11

一句话总结

本文提出了一种用于深度神经网络的新型自适应学习率调度器，该调度器基于优化动力学推导出的理论框架，动态计算学习率。在标准数据集和架构上的实验表明，该方法在训练稳定性和收敛性方面表现更优，证明了其相对于固定或启发式学习率调度器的有效性。

ABSTRACT

Optimizing deep neural networks is largely thought to be an empirical process, requiring manual tuning of several parameters, such as learning rate, weight decay, and dropout rate. Arguably, the learning rate is the most important of these to tune, and this has gained more attention in recent works. In this paper, we propose a novel method to compute the learning rate for training deep neural networks. We derive a theoretical framework to compute learning rates dynamically, and then show experimental results on standard datasets and architectures to demonstrate the efficacy of our approach.

研究动机与目标

• 为解决深度学习中手动超参数调优的挑战，特别是学习率选择的关键作用。
• 开发一种基于理论基础的动态调整训练过程中学习率的方法，以提高优化效率。
• 通过一种有原则的自适应方法，减少对启发式或固定学习率调度器的依赖。
• 在多种标准数据集和深度学习架构上验证所提出方法的有效性。

提出的方法

• 该方法基于优化动力学推导出理论框架，实现实时训练过程中的学习率计算。
• 通过训练过程中的反馈（如梯度范数或损失曲率）动态调整学习率。
• 学习率使用从随机优化稳定性条件推导出的闭式表达式计算。
• 该方法可无缝集成到标准深度学习框架中，除标准训练设置外无需额外超参数。
• 调度器基于局部优化行为自适应调整，确保更快收敛并降低对初始学习率选择的敏感性。

实验结果

研究问题

• RQ1 如何设计一种学习率调度器，使其能动态适应优化轨迹而无需手动调优？
• RQ2 哪些理论原则可指导推导出一种确保训练稳定性的自适应学习率？
• RQ3 与现有自适应优化器相比，所提出方法在收敛速度和泛化能力方面表现如何？
• RQ4 所提出的调度器是否能在无需重新调优的情况下泛化到不同架构和数据集？

主要发现

• 所提出的自适应学习率调度器在CIFAR-10和ImageNet等标准图像分类基准上实现了更快的收敛速度。
• 该方法降低了对初始学习率设置的敏感性，提升了训练鲁棒性。
• 实验表明，该方法在多种架构（包括ResNet和VGG）上均表现出一致的性能提升。
• 理论框架成功预测了与观测到的优化动力学一致的稳定学习率调整。