[论文解读] Deep learning versus kernel learning: an empirical study of loss landscape geometry and the time evolution of the Neural Tangent Kernel

Stanislav Fort, Gintare Karolina Dziugaite+4 more|arXiv (Cornell University)|Oct 28, 2020

Stochastic Gradient Optimization Techniques参考文献 36被引用 22

一句话总结

该论文通过分析损失曲面几何结构和神经正切核（NTK）的时间演化，对深度学习与核学习进行了大规模实证研究。研究揭示了在训练初期2–3个epoch内存在一种普遍的混沌至稳定转变，此时NTK迅速适应以学习有用特征，其性能相比初始NTK提升3倍，并决定了最终的训练盆地；此后训练趋于稳定，且在总训练时间的15%–45%内即达到全网络性能。

ABSTRACT

In suitably initialized wide networks, small learning rates transform deep neural networks (DNNs) into neural tangent kernel (NTK) machines, whose training dynamics is well-approximated by a linear weight expansion of the network at initialization. Standard training, however, diverges from its linearization in ways that are poorly understood. We study the relationship between the training dynamics of nonlinear deep networks, the geometry of the loss landscape, and the time evolution of a data-dependent NTK. We do so through a large-scale phenomenological analysis of training, synthesizing diverse measures characterizing loss landscape geometry and NTK dynamics. In multiple neural architectures and datasets, we find these diverse measures evolve in a highly correlated manner, revealing a universal picture of the deep learning process. In this picture, deep network training exhibits a highly chaotic rapid initial transient that within 2 to 3 epochs determines the final linearly connected basin of low loss containing the end point of training. During this chaotic transient, the NTK changes rapidly, learning useful features from the training data that enables it to outperform the standard initial NTK by a factor of 3 in less than 3 to 4 epochs. After this rapid chaotic transient, the NTK changes at constant velocity, and its performance matches that of full network training in 15% to 45% of training time. Overall, our analysis reveals a striking correlation between a diverse set of metrics over training time, governed by a rapid chaotic to stable transition in the first few epochs, that together poses challenges and opportunities for the development of more accurate theories of deep learning.

研究动机与目标

• 理解有限宽度网络中深度网络训练动力学、损失曲面几何结构与NTK演化之间的相互作用。
• 探究为何非线性深度学习即使在低学习率下仍优于线性化NTK训练。
• 识别跨架构与数据集的通用动力学模式，以指导理论发展与训练设计。
• 测量NTK随时间的演化过程，及其与损失曲面结构和训练性能的相关性。

提出的方法

• 同时测量多种指标，包括损失曲面几何结构、NTK动力学、核速度与误差屏障大小，覆盖多个架构与数据集。
• 在网络初始化阶段及中间训练点处使用神经正切核（NTK）进行线性化训练，以追踪核的演化过程。
• 采用泰勒展开近似（最高至二阶）评估线性化之外的非线性效应。
• 将完整非线性训练与线性化NTK训练进行比较，分别使用固定初始NTK与数据相关联的可学习NTK。
• 通过子网络生成分析函数空间多样性，以评估盆地探索与稳定性。
• 追踪核速度与误差屏障大小的时间演化，以关联其与性能提升的关系。

实验结果

研究问题

• RQ1 深度网络训练过程中，损失曲面几何结构如何演化，其在决定最终泛化性能方面发挥何种作用？
• RQ2 NTK在训练过程中变化程度如何，其与初始NTK相比对性能的影响是什么？
• RQ3 为何即使在理论上无限宽度下有保证，非线性训练仍优于低学习率下的线性化NTK训练？
• RQ4 NTK的时间演化、核速度与损失曲面中误差屏障的存在之间存在何种关系？
• RQ5 训练初期的混沌瞬态阶段（2–3个epoch内）是否可被认定为决定训练盆地命运的关键时期？

主要发现

• 深度网络的最终损失盆地在2至3个epoch内即被确定，此阶段为快速混沌瞬态。
• NTK在前3–4个epoch内迅速变化，从数据中学习到有用特征，且在不到4个epoch内性能相比初始NTK提升3倍。
• 即使在极低学习率下，非线性训练仍保持对线性化NTK训练的性能优势，表明NTK理论在有限宽度下存在局限性。
• 误差屏障大小、核速度与非线性性能优势在训练初期表现出紧密相关性。
• 在初始混沌瞬态阶段结束后，NTK以恒定速度演化，其性能在总训练时间的15%至45%内（例如200个epoch中的30–90个epoch）即达到全网络训练水平。
• 不同盆地之间的函数空间多样性高于同一盆地内部，而该差异在稳定阶段受SGD随机性限制。