[论文解读] Multi-scale Feature Learning Dynamics: Insights for Double Descent

Mohammad Pezeshki, Amartya Mitra+2 more|arXiv (Cornell University)|Dec 6, 2021

Neural Networks and Applications被引用 6

一句话总结

本文通过引入具有各向异性特征尺度的线性教师-学生模型，研究了神经网络泛化中的训练周期级双下降现象。利用统计物理与复制方法，推导出闭式解析表达式，表明当快速学习的特征发生过拟合，而较慢学习的特征开始拟合时，测试误差出现第二次下降，从而引发双下降现象——该结论在线性网络与深度网络上的实验中得到验证。

ABSTRACT

A key challenge in building theoretical foundations for deep learning is the complex optimization dynamics of neural networks, resulting from the high-dimensional interactions between the large number of network parameters. Such non-trivial dynamics lead to intriguing behaviors such as the phenomenon of "double descent" of the generalization error. The more commonly studied aspect of this phenomenon corresponds to model-wise double descent where the test error exhibits a second descent with increasing model complexity, beyond the classical U-shaped error curve. In this work, we investigate the origins of the less studied epoch-wise double descent in which the test error undergoes two non-monotonous transitions, or descents as the training time increases. By leveraging tools from statistical physics, we study a linear teacher-student setup exhibiting epoch-wise double descent similar to that in deep neural networks. In this setting, we derive closed-form analytical expressions for the evolution of generalization error over training. We find that double descent can be attributed to distinct features being learned at different scales: as fast-learning features overfit, slower-learning features start to fit, resulting in a second descent in test error. We validate our findings through numerical experiments where our theory accurately predicts empirical findings and remains consistent with observations in deep neural networks.

研究动机与目标

• 理解训练周期级双下降的成因，即测试误差在训练过程中非单调地出现两次下降，与经典过拟合直觉相悖。
• 利用统计物理建立理论框架，以建模高维线性模型中的泛化动态。
• 解释为何训练时间更长反而能超越经典过拟合阈值改善泛化性能，从而挑战早停策略的作用。
• 通过数值模拟验证理论，并展示其与深度神经网络的定性相似性。

提出的方法

• 构建一个线性教师-学生模型，其中学生从教师生成的数据中学习，教师输入为各向异性的高斯分布，导致特征具有不同的方差。
• 应用统计物理中的复制方法，推导出泛化误差关于训练时间与正则化参数的闭式表达式。
• 通过对序参量（Q₀, Q, R）进行极值化处理，求解高维极限，假设副本对称性。
• 推导出描述系统在不同训练时间与正则化条件下平衡态的超越方程。
• 对线性模型进行数值实验，并与深度神经网络的训练结果进行比较，以验证理论。

实验结果

研究问题

• RQ1 为何测试误差在训练过程中表现出两次下降，与经典过拟合预期相悖？
• RQ2 神经网络中训练周期级双下降的动力学机制是什么？
• RQ3 特征学习速度的差异如何导致泛化误差曲线的非单调性？
• RQ4 一个简单的线性模型能否再现深度网络中观察到的双下降行为？

主要发现

• 当快速学习的特征发生过拟合并随后被较慢学习特征的拟合所补偿时，训练周期级双下降现象出现，导致测试误差出现第二次下降。
• 该理论在线性教师-学生模型与深度神经网络中均能准确预测非单调的测试误差曲线。
• 特征变换矩阵 F 的条件数决定了快速与慢速学习特征之间的尺度分离程度，直接影响双下降行为。
• 复制方法得出了泛化误差动态的闭式表达式，表明第二次下降源于特征学习时间尺度的差异。
• 解析解与深度网络中的经验观测结果一致，证实特征尺度动态是双下降现象的核心。