[论文解读] Double Descent Demystified: Identifying, Interpreting & Ablating the Sources of a Deep Learning Puzzle

Rylan Schaeffer, Mikail Khona+6 more|arXiv (Cornell University)|Mar 24, 2023

Neural Networks and Applications被引用 4

一句话总结

本文通过识别三个关键因素——训练特征中的小奇异值、测试特征在尾部奇异模式中的变化，以及最优模型中的非零残差误差——揭示了机器学习中双下降现象的成因。通过在线性回归分析和对合成数据与真实世界数据的消融研究，作者表明当任意一个因素被移除时，双下降现象即消失，从而为双下降在线性模型及非线性模型（如深度神经网络）中的出现提供了统一解释。

ABSTRACT

Double descent is a surprising phenomenon in machine learning, in which as the number of model parameters grows relative to the number of data, test error drops as models grow ever larger into the highly overparameterized (data undersampled) regime. This drop in test error flies against classical learning theory on overfitting and has arguably underpinned the success of large models in machine learning. This non-monotonic behavior of test loss depends on the number of data, the dimensionality of the data and the number of model parameters. Here, we briefly describe double descent, then provide an explanation of why double descent occurs in an informal and approachable manner, requiring only familiarity with linear algebra and introductory probability. We provide visual intuition using polynomial regression, then mathematically analyze double descent with ordinary linear regression and identify three interpretable factors that, when simultaneously all present, together create double descent. We demonstrate that double descent occurs on real data when using ordinary linear regression, then demonstrate that double descent does not occur when any of the three factors are ablated. We use this understanding to shed light on recent observations in nonlinear models concerning superposition and double descent. Code is publicly available.

研究动机与目标

• 解释双下降在机器学习中出现的原因，且不依赖于随机矩阵理论等高级数学工具。
• 识别在线性模型中导致双下降的三个可解释且相互关联的因素。
• 通过在合成数据和真实世界表格数据集上的消融研究，实证验证这些因素。
• 将线性模型中的洞察扩展至非线性深度学习系统，尤其在理解泛化与记忆化方面。
• 澄清关于双下降中噪声与过拟合的误解，表明确定性残差误差已足够。

提出的方法

• 使用勒让德多项式作为基函数的多项式回归，为双下降行为提供可视化直观理解。
• 通过分析训练特征矩阵 X 的奇异值分解（SVD），形式化描述普通线性回归中的双下降现象。
• 识别出三个关键条件：(1) X 中的小奇异值，(2) 测试特征在 X 的尾部奇异模式中变化，(3) 最优模型中的非零残差误差。
• 通过在合成数据和真实世界数据集中分别移除三个因素之一，开展消融实验，以检验其必要性。
• 将深度神经网络的激活投影到等价于线性回归的特征空间，使同一框架可应用于非线性模型。
• 使用学生-教师框架生成具有受控特性的合成数据，实现对三个因素的因果验证。

实验结果

研究问题

• RQ1 在何种具体、可解释的条件下，双下降在线性模型中才会发生？
• RQ2 为何在过参数化模型中双下降会出现，尽管经典理论预测会出现过拟合？
• RQ3 当三个识别出的因素中任一被移除时，双下降是否仍然存在？这说明了这些因素的必要性如何？
• RQ4 线性模型中的洞察如何解释非线性深度神经网络中的双下降现象？
• RQ5 双下降是否需要标签噪声或随机性？它是否可在确定性设置中发生？

主要发现

• 普通线性回归中的双下降仅在三个因素——X 中的小奇异值、测试特征在尾部奇异模式中的变化、非零残差误差——同时存在时才会发生。
• 在合成数据和真实世界数据集中，无论移除三个因素中的哪一个，双下降现象均完全消失，证实了这些因素的必要性。
• 当三个因素同时存在时，在真实表格数据集（包括加州住房、糖尿病、世界卫生组织寿命预期）中均观察到双下降现象。
• 该现象在非线性模型中持续存在，因为宽深度神经网络的有效特征空间可映射到线性回归，使得相同的三个因素仍能控制泛化行为。
• 双下降可在无标签噪声的情况下发生；由模型类不匹配引起的确定性残差误差已足够产生非单调的测试误差曲线。
• 本研究澄清了‘数据点特征’（与 XX^T 相关）和‘泛化特征’（与 X^T X 相关）并非互斥，其共享的谱结构是双下降行为的基础。