[论文解读] Learning Stages: Phenomenon, Root Cause, Mechanism Hypothesis, and Implications.

Kaichao You, Mingsheng Long+2 more|arXiv (Cornell University)|Aug 5, 2019

Neural Networks and Applications被引用 5

一句话总结

本文提出了一种关于深度神经网络训练中学习率衰减（lrDecay）的新型解释：初始较大的学习率抑制了对噪声数据的记忆化，而后续的衰减则使网络能够学习到更复杂、转移性更弱的模式。在受控数据集和真实世界数据集上的实验验证了该机制，为设计更优的训练策略提供了新见解。

ABSTRACT

Learning rate decay (lrDecay) is a \emph{de facto} technique for training modern neural networks. It starts with a large learning rate and then decays it multiple times. It is empirically observed to help both optimization and generalization. Common beliefs in how lrDecay works come from the optimization analysis of (Stochastic) Gradient Descent: 1) an initially large learning rate accelerates training or helps the network escape spurious local minima; 2) decaying the learning rate helps the network converge to a local minimum and avoid oscillation. Despite the popularity of these common beliefs, experiments suggest that they are insufficient in explaining the general effectiveness of lrDecay in training modern neural networks that are deep, wide, and nonconvex. We provide another novel explanation: an initially large learning rate suppresses the network from memorizing noisy data while decaying the learning rate improves the learning of complex patterns. The proposed explanation is validated on a carefully-constructed dataset with tractable pattern complexity. And its implication, that additional patterns learned in later stages of lrDecay are more complex and thus less transferable, is justified in real-world datasets. We believe that this alternative explanation will shed light into the design of better training strategies for modern neural networks.

研究动机与目标

• 挑战现代深度神经网络中学习率衰减的广泛优化解释。
• 探究lrDecay的有效性是否源于归纳偏差的抑制与模式复杂度动态变化，而非收敛或逃离局部极小值。
• 验证一个新假设：lrDecay实现了对日益复杂模式的渐进式学习。
• 探讨不同训练阶段所学模式的可转移性，特别是与复杂度的关系。
• 为lrDecay在非凸、深度且宽的网络中的经验成功提供机制性解释。

提出的方法

• 构建一个具有受控、可处理的模式复杂度的合成数据集，以隔离学习率衰减对模式学习的影响。
• 使用较大的初始学习率，以在训练初期抑制对简单、噪声模式的记忆化。
• 逐步衰减学习率，使网络在后期阶段能够学习到更复杂、更抽象的模式。
• 通过特定模式探测器和泛化度量，分析训练各阶段所学模式的复杂度。
• 在真实世界数据集上，比较早期与后期训练阶段所学特征的可转移性。
• 通过在合成数据和真实数据上的消融研究与受控实验，验证该假设。

实验结果

研究问题

• RQ1 为何学习率衰减在现代深度神经网络中能超越优化收敛，提升泛化性能？
• RQ2 初始大学习率是否能有效抑制对噪声或简单模式的记忆化？
• RQ3 后期训练阶段所学的模式是否比早期阶段更复杂且可转移性更低？
• RQ4 lrDecay的有效性是否可归因于模式复杂度的渐进式学习，而非优化动力学？
• RQ5 所学模式的复杂度与其在不同任务间的可转移性之间有何相关性？

主要发现

• 初始大学习率能有效抑制训练数据中噪声或简单模式的记忆化。
• 后续的学习率衰减使网络能够学习到更复杂、更抽象的模式，这些模式更不易过拟合。
• 通过特定模式探测测量，后期训练阶段所学模式的复杂度显著高于早期阶段。
• 这些后期学习到的模式在其他任务上的可转移性较低，支持了模式复杂度随时间递增的假设。
• 所提出的机制解释了lrDecay在非凸、深度网络中的有效性，而传统优化解释在此类场景中往往失效。
• 在合成数据和真实世界数据集上的实证验证表明，lrDecay促进了从简单到复杂模式学习的渐进过程。