[论文解读] Demystifying Learning Rate Policies for High Accuracy Training of Deep Neural Networks

Yanzhao Wu, Ling Liu+7 more|arXiv (Cornell University)|Aug 18, 2019

Machine Learning and Data Classification参考文献 28被引用 14

一句话总结

该论文提出 LRBench，一个用于评估和推荐训练深度神经网络（DNN）时最优学习率（LR）策略的基准测试系统。通过分析 13 种 LR 函数，采用分类置信度、方差、成本和鲁棒性等指标，LRBench 识别出高精度、高效的 LR 调度策略，显著减少了在 Caffe 等框架中手动调参的工作量。

ABSTRACT

Learning Rate (LR) is an important hyper-parameter to tune for effective training of deep neural networks (DNNs). Even for the baseline of a constant learning rate, it is non-trivial to choose a good constant value for training a DNN. Dynamic learning rates involve multi-step tuning of LR values at various stages of the training process and offer high accuracy and fast convergence. However, they are much harder to tune. In this paper, we present a comprehensive study of 13 learning rate functions and their associated LR policies by examining their range parameters, step parameters, and value update parameters. We propose a set of metrics for evaluating and selecting LR policies, including the classification confidence, variance, cost, and robustness, and implement them in LRBench, an LR benchmarking system. LRBench can assist end-users and DNN developers to select good LR policies and avoid bad LR policies for training their DNNs. We tested LRBench on Caffe, an open source deep learning framework, to showcase the tuning optimization of LR policies. Evaluated through extensive experiments, we attempt to demystify the tuning of LR policies by identifying good LR policies with effective LR value ranges and step sizes for LR update schedules.

研究动机与目标

• 系统性地评估和比较 13 种用于深度神经网络（DNN）训练的学习率（LR）函数及其相关策略。
• 通过提出一个基准测试系统，自动选择 LR 策略，以应对手动超参数调优带来的高成本和高难度。
• 通过识别适用于数据集和 DNN 架构的高效 LR 值范围与更新调度，减少对试错调优的依赖。
• 基于实证评估，推荐鲁棒且高性能的 LR 策略，以提升训练效率和模型准确率。
• 通过存储和重用以往调优结果，实现 DNN 训练任务之间的知识共享，适用于相似的数据集和模型。

提出的方法

• 对 13 种 LR 函数进行全面表征，包括固定值、阶梯衰减、指数衰减、反时限衰减、多项式衰减、循环（TRI、TRI2、TRIEXP）、正弦（SIN、SIN2、SINEXP）以及余弦衰减函数。
• 引入四种评估指标：分类置信度、方差、成本和鲁棒性，以客观比较 LR 策略。
• 开发 LRBench，一个开源基准测试系统，利用所提出的指标自动化评估 LR 策略。
• 在 MNIST 和 CIFAR-10 上采用系统化的实验设置，使用 LeNet、CNN3 和 ResNet 测试 LR 策略性能。
• 利用元数据和基于相似性的排序，为新数据集或模型推荐先前已验证的 LR 策略。
• 应用这些指标识别并过滤无效或不稳定的 LR 策略，提升调优效率。

实验结果

研究问题

• RQ1 在多种 DNN 架构和数据集上，哪些学习率函数及其参数设置能实现最高的测试准确率？
• RQ2 不同 LR 策略参数（如取值范围、步长、衰减率）如何影响训练收敛性和模型鲁棒性？
• RQ3 哪些指标能够以标准化方式可靠地评估和比较 LR 策略的实用性、成本和鲁棒性？
• RQ4 像 LRBench 这样的基准测试系统是否能减少手动调优的学习率工作量，同时改善训练结果？
• RQ5 LR 策略推荐在相似数据集和模型架构之间是否具有可迁移性？

主要发现

• LRBench 在多个数据集和模型上成功识别出高性能的 LR 策略，相比默认或调优不佳的调度策略，显著提升了测试准确率。
• 余弦衰减（COS）和三角形2（TRI2）策略在不同训练场景下均表现出高分类置信度和低方差，是鲁棒的优选策略。
• 初始学习率较大且具有自适应衰减的策略（如 CLR 家族中的 TRI2、SIN2）表现优异，支持了超收敛（super-convergence）的概念。
• 研究发现，次优的参数设置——尤其是步长和衰减率——即使在知名 LR 函数中，也可能导致高方差和收敛性差。
• 该基准测试系统通过基于数据集和模型相似性的推荐机制，显著降低了手动调优成本，加速了训练配置过程。
• 所提出的指标（置信度、方差、成本、鲁棒性）能有效区分高质量与低质量的 LR 策略，实现可靠的策略选择。