[论文解读] A Farewell to the Bias-Variance Tradeoff? An Overview of the Theory of Overparameterized Machine Learning

Yehuda Dar, V. Sai Muthukumar+1 more|arXiv (Cornell University)|Sep 6, 2021

Neural Networks and Applications被引用 23

一句话总结

本文全面概述了过参数化机器学习（TOPML）的新兴理论，解释了为何尽管过拟合噪声训练数据，插值模型仍能实现良好泛化，从而挑战了经典的偏差-方差权衡。本文引入了双下降现象，并通过统计信号处理的视角重新阐释过参数化模型中的泛化，强调需要超越参数数量的新复杂度度量。

ABSTRACT

The rapid recent progress in machine learning (ML) has raised a number of scientific questions that challenge the longstanding dogma of the field. One of the most important riddles is the good empirical generalization of overparameterized models. Overparameterized models are excessively complex with respect to the size of the training dataset, which results in them perfectly fitting (i.e., interpolating) the training data, which is usually noisy. Such interpolation of noisy data is traditionally associated with detrimental overfitting, and yet a wide range of interpolating models -- from simple linear models to deep neural networks -- have recently been observed to generalize extremely well on fresh test data. Indeed, the recently discovered double descent phenomenon has revealed that highly overparameterized models often improve over the best underparameterized model in test performance. Understanding learning in this overparameterized regime requires new theory and foundational empirical studies, even for the simplest case of the linear model. The underpinnings of this understanding have been laid in very recent analyses of overparameterized linear regression and related statistical learning tasks, which resulted in precise analytic characterizations of double descent. This paper provides a succinct overview of this emerging theory of overparameterized ML (henceforth abbreviated as TOPML) that explains these recent findings through a statistical signal processing perspective. We emphasize the unique aspects that define the TOPML research area as a subfield of modern ML theory and outline interesting open questions that remain.

研究动机与目标

• 解释为何能完美拟合噪声训练数据的过参数化模型仍能实现良好泛化。
• 通过引入双下降现象，重新框架经典机器学习理论，以替代传统的偏差-方差权衡。
• 识别并分析经典模型复杂度度量（如参数数量、Rademacher 复杂度）在过参数化区域中的局限性。
• 突出在定义学习模型复杂度及其在泛化性能中作用方面仍存在的开放问题。
• 将 TOPML 定位为机器学习理论中的一个独立子领域，具有对现代深度学习的基础性影响。

提出的方法

• 通过统计信号处理框架分析过参数化的线性模型和核方法。
• 使用最小范数插值解作为核心分析工具，研究高维、过参数化设置下的泛化。
• 采用固定设计设定，并使用均匀分布的网格来建模信号估计，以证明在经典设定下插值的无关性。
• 引入双下降风险曲线作为关键诊断工具，以刻画模型复杂度变化下的泛化误差。
• 评估经典泛化界（如一致收敛）在解释插值模型泛化时的失效。
• 提出替代性复杂度度量，如最小描述长度（MDL）和算法稳定性，以更好地捕捉过参数化区域中的有效模型复杂度。

实验结果

研究问题

• RQ1 为何能插值噪声训练数据的过参数化模型仍能实现强泛化性能？
• RQ2 双下降现象如何解释高度过参数化模型相比欠参数化模型的测试性能提升？
• RQ3 在过参数化区域中，模型复杂度的正确定义是什么？为何参数数量不足以描述？
• RQ4 为何基于一致收敛的经典泛化界无法解释插值模型中的泛化现象？
• RQ5 像 MDL 或算法稳定性这样的替代性复杂度度量能否预测过参数化学习中的泛化行为？

主要发现

• 双下降现象表明，测试误差可在插值阈值之后继续下降，最优性能在最大过参数化时达到。
• 尽管拟合噪声，过参数化模型中的插值解仍能实现良好泛化，这与经典泛化理论相矛盾。
• 经典复杂度度量（如参数数量和 Rademacher 复杂度）无法解释插值模型中的泛化现象。
• 在核回归中，最小范数插值被证明具有算法稳定性，暗示了过参数化设置中稳定性与泛化之间的联系。
• 最小描述长度（MDL）原理提供了一种数据驱动的复杂度度量，可解释过参数化学习中的部分行为。
• 学习模型复杂度的正确定义仍是 TOPML 中一个开放且基础性的挑战，对理论和实践具有重大影响。