[论文解读] Model, sample, and epoch-wise descents: exact solution of gradient flow in the random feature model

Antoine Bodin, Nicolas Macris|arXiv (Cornell University)|Oct 22, 2021

Stochastic Gradient Optimization Techniques被引用 6

一句话总结

本文首次在梯度流下，通过复积分表示和随机矩阵理论，为随机特征模型中训练误差和泛化误差的完整时间演化提供了精确解析解。研究揭示了双次下降和三次下降现象随时间动态出现，某些参数区间下早停策略具有优势，并在过参数化设置中识别出两种不同的分阶段下降结构。

ABSTRACT

Recent evidence has shown the existence of a so-called double-descent and even triple-descent behavior for the generalization error of deep-learning models. This important phenomenon commonly appears in implemented neural network architectures, and also seems to emerge in epoch-wise curves during the training process. A recent line of research has highlighted that random matrix tools can be used to obtain precise analytical asymptotics of the generalization (and training) errors of the random feature model. In this contribution, we analyze the whole temporal behavior of the generalization and training errors under gradient flow for the random feature model. We show that in the asymptotic limit of large system size the full time-evolution path of both errors can be calculated analytically. This allows us to observe how the double and triple descents develop over time, if and when early stopping is an option, and also observe time-wise descent structures. Our techniques are based on Cauchy complex integral representations of the errors together with recent random matrix methods based on linear pencils.

研究动机与目标

• 在梯度流下，对随机特征模型中训练误差和泛化误差的完整时间演化进行解析表征。
• 理解双次下降和三次下降现象不仅在模型/样本规模上，而且在训练时间（分阶段）上的出现机制。
• 确定早停是否可在特定参数区间内作为提升泛化能力的策略，并识别最优停止时间。
• 对过参数化区域中观察到的分阶段下降结构进行分类与解释。
• 在高维极限下，通过数值模拟验证分析框架的有效性。

提出的方法

• 利用柯西复积分表示，推导训练误差和泛化误差的精确表达式。
• 应用基于线性束的最新随机矩阵方法，计算谱密度和史蒂尔杰斯变换。
• 将随时间演化的误差表示为由代数方程控制的谱密度上的一维和二维积分。
• 采用渐近极限 $ n,d,N \to \infty $，$ N/d \to \psi $，$ n/d \to \phi $，确保分析可处理性。
• 通过谱测度的史蒂尔杰斯变换的闭式代数方程求解误差曲线的动力学。
• 在不同激活函数和参数区间下，将分析预测与数值模拟进行对比验证。

实验结果

研究问题

• RQ1 在随机特征模型中，双次下降和三次下降现象如何随训练时间动态演化？
• RQ2 模型层面和样本层面的双次下降在何时出现？它们是否在泛化误差出现最小值之后出现？
• RQ3 在特定参数区间内，能否从理论上证明早停是一种可提升泛化能力的策略？
• RQ4 训练过程中观察到的分阶段下降结构有哪些不同特征？它们如何依赖于模型超参数？
• RQ5 不同激活函数如何影响分阶段下降模式的形状与可见性？

主要发现

• 泛化误差中的双次下降和三次下降仅在插值阈值之后经过有限时间才出现，其前的误差下降表明早停可能具有优势。
• 模型表现出两种不同的分阶段下降结构：在过参数化区域中为两阶段平台的单调下降；当 $ \lambda $ 较大时，训练误差中出现更复杂的结构，包含一个次级下降。
• 第一阶段平台的时间尺度由 $ \lambda $ 参数控制，通过重标定 $ \lambda $ 可在不同参数区间内稳定插值阈值的时间尺度。
• 当第二层噪声 $ r = 0 $ 时，测试误差的第二阶段平台消失，表明噪声在塑造下降结构中起关键作用。
• 较大的 $ \lambda $ 抑制了测试误差中的双次下降，并在训练误差中引入两阶段下降，与正则化效应一致。
• 分析预测与数值模拟高度吻合，即使在中等 $ d $ 下也成立，证实了在高维极限下梯度流近似的有效性。