[论文解读] Exploring loss function topology with cyclical learning rates

Leslie N. Smith, Nicholay Topin|arXiv (Cornell University)|Feb 14, 2017

Machine Learning and Algorithms参考文献 4被引用 17

一句话总结

本文利用循环学习率（CLR）和线性网络插值研究了神经网络损失函数的拓扑结构，揭示了反直觉的行为，例如测试损失和准确率同时上升，以及超收敛现象——即使用大学习率训练的网络在更少的迭代次数内达到更高的测试准确率。作者表明，CLR能够暴露各周期中的不同极小值，且在这些解之间进行插值可通过正则化实现更好的泛化性能。

ABSTRACT

We present observations and discussion of previously unreported phenomena discovered while training residual networks. The goal of this work is to better understand the nature of neural networks through the examination of these new empirical results. These behaviors were identified through the application of Cyclical Learning Rates (CLR) and linear network interpolation. Among these behaviors are counterintuitive increases and decreases in training loss and instances of rapid training. For example, we demonstrate how CLR can produce greater testing accuracy than traditional training despite using large learning rates. Files to replicate these results are available at https://github.com/lnsmith54/exploring-loss

研究动机与目标

• 通过使用循环学习率和学习率范围测试，研究深度神经网络中此前未报告的训练动态。
• 通过观察不同学习率下训练行为的变化，理解神经网络损失函数的潜在结构。
• 探索在CLR各周期中是否能找到不同的极小值，以及在这些极小值之间插值是否能改善模型泛化能力。
• 评估神经网络架构的鲁棒性，基于能获得高测试准确率的学习率范围。
• 评估在不同解之间进行权重插值作为正则化技术的潜力。

提出的方法

• 采用具有三角形策略的循环学习率（CLR），即学习率在固定迭代次数内于最小值和最大值之间振荡（步长）。
• 通过在整个训练过程中线性增加学习率（从较小的初始值到较大的值），进行学习率范围测试，以映射网络在整个广泛学习率范围内的收敛行为。
• 使用线性网络插值比较训练后的网络权重，通过计算两组训练权重的加权平均值：net_new = α*net_1 + (1−α)*net_2，其中α取不同值。
• 在插值过程中测量训练和测试损失及准确率，以检测解是否对应于相同或不同的极小值。
• 分析CLR下的训练轨迹和损失函数行为，识别如损失增加与准确率提升并存等异常现象。
• 将固定学习率的标准训练与CLR训练进行比较，以评估收敛速度和最终模型性能。

实验结果

研究问题

• RQ1 当使用循环学习率时，特别是在学习率跨越临界阈值时，训练损失和准确率的行为如何变化？
• RQ2 是否可以在循环学习率训练的各周期中识别出不同的极小值，且它们是否对应于不同的泛化能力？
• RQ3 为何测试损失和测试准确率有时会同时上升，违背了通常认为的反比关系？
• RQ4 在不同周期的解之间进行插值在多大程度上能改善模型泛化能力并降低测试损失？
• RQ5 能获得高测试准确率的学习率范围是否与深度网络架构的鲁棒性相关？

主要发现

• 采用10,000次迭代步长的循环学习率实现了超收敛，在仅20,000次迭代内使CIFAR-10上的ResNet-56达到93%的测试准确率，优于初始学习率为0.35的标准训练（仅达到91%准确率）。
• 在CLR训练中，当学习率约为0.255时，训练损失出现约四个数量级的急剧上升，但随后在更高学习率下恢复收敛，表明损失函数具有复杂的拓扑结构。
• 在CLR的多个周期中观察到测试损失和测试准确率同时上升，违背了通常的反比关系，表明损失景观中存在非单调行为。
• 在不同CLR周期的解之间进行插值揭示了测试损失的中心极小值，表明从不同极小值中平均权重可改善泛化性能，并起到正则化作用。
• 通过学习率范围测试揭示的损失函数拓扑结构显示，在0.25至1.0的广泛学习率范围内均能保持高且稳定的测试准确率，表明具有此类范围的架构可能对超参数选择更具鲁棒性。
• 每个CLR周期末尾找到的解是不同的，插值结果中显示两者之间存在“峰值”损失，证实它们对应于损失景观中的不同极小值。