[论文解读] Failures of model-dependent generalization bounds for least-norm interpolation
本文表明，在过参数化设置下，当应用于最小范数线性插值器时，常用于统计学习理论的模型依赖泛化界可能存在根本性缺陷。研究显示，这类界在某些情况下可能变得任意宽松，即使真实过失风险趋于零，其下界仍远离零，这在自然的数据分布下依然成立。
We consider bounds on the generalization performance of the least-norm linear regressor, in the over-parameterized regime where it can interpolate the data. We describe a sense in which any generalization bound of a type that is commonly proved in statistical learning theory must sometimes be very loose when applied to analyze the least-norm interpolant. In particular, for a variety of natural joint distributions on training examples, any valid generalization bound that depends only on the output of the learning algorithm, the number of training examples, and the confidence parameter, and that satisfies a mild condition (substantially weaker than monotonicity in sample size), must sometimes be very loose -- it can be bounded below by a constant when the true excess risk goes to zero.
研究动机与目标
- 研究在过参数化设置下，最小范数线性插值中模型依赖泛化界的可靠性。
- 识别在何种条件下，常用泛化界对插值模型变得空洞或过于悲观。
- 证明即使仅依赖于算法输出、样本大小和置信参数的合法界，也可能无法捕捉真实的泛化性能。
- 表明此类界在真实过失风险趋于零时，仍必须有正的下界。
- 挑战基于一致收敛的工具在分析插值模型中良性过拟合现象时的实用性。
提出的方法
- 分析在过参数化设置下，能完美拟合训练数据的最小范数线性插值器。
- 构造一类数据分布族，使得真实过失风险随样本量增加而趋于零。
- 证明任何满足温和条件（如样本量的次可加性）的有效泛化界，在此设置下必须保持远离零。
- 使用泊松化采样模型和浓度不等式（Chernoff不等式、Chebyshev不等式）来控制采样过程中罕见事件的概率。
- 应用马尔可夫不等式和Chebyshev不等式，控制信息样本数量的尾部概率。
- 采用二项分布与泊松分布之间的耦合论证，将样本量波动与界失效概率关联起来。
实验结果
研究问题
- RQ1在过参数化设置下，模型依赖的泛化界是否可能对最小范数插值器保持有效但任意宽松？
- RQ2在何种条件下，标准泛化界无法反映插值模型中真实风险的衰减？
- RQ3是否存在一种泛化界被下界限制为常数，而实际过失风险趋于零的情况？
- RQ4基于一致收敛的论证是否无法捕捉插值算法的真实泛化性能？
- RQ5在良性过拟合背景下，分布依赖的复杂度度量是否可能优于模型依赖的度量？
主要发现
- 对于一类自然的数据分布，最小范数插值器的真实过失风险随样本量增加而趋于零。
- 任何仅依赖于算法输出、样本大小和置信参数的有效泛化界，在真实过失风险趋于零时，必须有正的下界。
- 即使在弱于样本量单调性的温和条件下，该失效现象仍会发生，表明此类界存在根本性局限。
- 界过于宽松并非源于分析不佳，而是源于插值设置下模型依赖界本身的固有结构。
- 该结果意味着，基于假设类上一致收敛的标准工具，可能不足以解释插值模型中的泛化现象。
- 该失效并非源于数据中的噪声，而是模型依赖界无法适应高维线性回归中良性过拟合现象所致。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。