[论文解读] Finite-sample Analysis of Interpolating Linear Classifiers in the Overparameterized Regime

Niladri S. Chatterji, Philip M. Long|arXiv (Cornell University)|Apr 25, 2020

Machine Learning and Algorithms参考文献 78被引用 22

一句话总结

本文对过参数化设置下的最大间隔线性分类器进行了有限样本分析，表明即使存在对抗性标签噪声，充分的过参数化也能使分类器实现近乎最优的总体风险。关键结果表明，在满足温和分布假设（包括具有噪声的高斯类条件分布）下，泛化误差随样本量呈指数衰减。

ABSTRACT

We prove bounds on the population risk of the maximum margin algorithm for two-class linear classification. For linearly separable training data, the maximum margin algorithm has been shown in previous work to be equivalent to a limit of training with logistic loss using gradient descent, as the training error is driven to zero. We analyze this algorithm applied to random data including misclassification noise. Our assumptions on the clean data include the case in which the class-conditional distributions are standard normal distributions. The misclassification noise may be chosen by an adversary, subject to a limit on the fraction of corrupted labels. Our bounds show that, with sufficient over-parameterization, the maximum margin algorithm trained on noisy data can achieve nearly optimal population risk.

研究动机与目标

• 分析在 p > n 的过参数化设置下最大间隔线性分类器的泛化性能。
• 理解为何在拟合噪声训练数据的情况下，对未正则化逻辑损失进行梯度下降仍能实现良好泛化。
• 在对抗性标签噪声和弱信息特征下，建立总体风险的有限样本界。
• 表明过参数化可减轻噪声标签的影响，从而实现近乎最优的测试误差。

提出的方法

• 分析未正则化逻辑损失上梯度下降的极限，其收敛于最大 ℓ₂-间隔分类器。
• 利用近期结果表明，逻辑损失上的梯度下降会隐式正则化至最大间隔解。
• 采用生成模型，包含类条件分布（例如 N(μ, I) 和 N(−μ, I)）以及最高达分数 η 的对抗性标签噪声。
• 应用浓度不等式和霍夫丁界，以控制数据点与期望偏差之间的内积。
• 通过次高斯尾部界和样本上的并集界，推导出间隔和泛化误差的高概率界。
• 在充分过参数化和高维条件下，建立数据线性可分性的保证。

实验结果

研究问题

• RQ1 当 p ≫ n 时，最大间隔分类器能否在存在对抗性标签噪声的情况下实现低总体风险？
• RQ2 过参数化如何影响插值线性分类器对标签噪声的鲁棒性？
• RQ3 在弱信息特征下，最大间隔解的有限样本泛化误差是多少？
• RQ4 在何种条件下，测试误差会随样本量呈指数衰减？
• RQ5 在高维设置下，逻辑损失上梯度下降的隐式正则化是否会导致最优风险？

主要发现

• 在 s、p 和 n 之间呈多项式关系的条件下，最大间隔分类器的总体风险以 O(e^{-n^τ}) 的形式随样本量 n 指数衰减，其中 τ > 0。
• 在充分过参数化下，即使高达分数 η 的标签被对抗性地破坏，分类器仍能实现近乎最优的总体风险。
• 泛化误差受一个依赖于 √(p log(n/δ)) 和 ‖μ‖² 的项所限制，表明高维性有助于减轻噪声影响。
• 当 p ≥ C max{‖μ‖²n, n² log(n/δ)} 且常数 C 足够大时，数据的线性可分性得到保证。
• 分析表明，随着 p 增大，噪声样本的影响比例减小，从而降低其对最终解的影响。
• 对内积和偏差的高概率界确保了间隔保持较大，从而支持强泛化能力。