[论文解读] Benign Overfitting in Multiclass Classification: All Roads Lead to Interpolation

Ke Wang, Vidya Muthukumar+1 more|arXiv (Cornell University)|Jun 21, 2021

Machine Learning and Data Classification参考文献 69被引用 13

一句话总结

该论文表明，在高维多类线性分类中，当数据满足充分过参数化时，使用交叉熵损失或最小二乘损失的经验风险最小化（ERM）以及一对多SVM，均收敛至插值解，且泛化性能完全相同。论文证明了当数据服从高斯混合模型或多项式逻辑模型时，多类设置下普遍发生良性过拟合，将先前仅限于二分类的理论结果推广至多类场景，并给出了严格的非渐近界。

ABSTRACT

The literature on "benign overfitting" in overparameterized models has been mostly restricted to regression or binary classification; however, modern machine learning operates in the multiclass setting. Motivated by this discrepancy, we study benign overfitting in multiclass linear classification. Specifically, we consider the following training algorithms on separable data: (i) empirical risk minimization (ERM) with cross-entropy loss, which converges to the multiclass support vector machine (SVM) solution; (ii) ERM with least-squares loss, which converges to the min-norm interpolating (MNI) solution; and, (iii) the one-vs-all SVM classifier. First, we provide a simple sufficient deterministic condition under which all three algorithms lead to classifiers that interpolate the training data and have equal accuracy. When the data is generated from Gaussian mixtures or a multinomial logistic model, this condition holds under high enough effective overparameterization. We also show that this sufficient condition is satisfied under "neural collapse", a phenomenon that is observed in training deep neural networks. Second, we derive novel bounds on the accuracy of the MNI classifier, thereby showing that all three training algorithms lead to benign overfitting under sufficient overparameterization. Ultimately, our analysis shows that good generalization is possible for SVM solutions beyond the realm in which typical margin-based bounds apply.

研究动机与目标

• 填补多类分类中良性过拟合理论理解的空白，此前该研究主要局限于回归和二分类任务。
• 建立不同训练算法（ERM+交叉熵损失、ERM+最小二乘损失、一对多SVM）产生相同插值解的条件。
• 在高斯混合模型和多项式逻辑模型下，推导最小范数插值（MNI）分类器在多类设置中的非渐近泛化界。
• 表明经典基于间隔的泛化界在高维多类设置下无法预测性能，而插值仍能实现良好表现。
• 证明在有效过参数化条件下，二分类中已观察到的平方损失与交叉熵损失的等价性可推广至多类分类问题。

提出的方法

• 提出一个确定性充分条件，使得多类SVM、带单纯形编码的一对多SVM以及最小范数插值（MNI）解完全相同且插值所有训练数据点。
• 通过几何与概率论证表明，在高维高斯混合模型（GMM）或多项式逻辑模型（MLM）下，该充分条件以高概率成立。
• 应用并集界与集中不等式，推导一对多（OvA）和一对多（OvO）SVM分类器的分类误差的高概率界。
• 通过关联基于间隔的泛化界，结合对称性与高维集中性，推导MNI解的分类误差的非渐近界。
• 证明损失函数（交叉熵与最小二乘）在如下意义上等价：在相同过参数化条件下，两者均导致相同的插值解与泛化性能。
• 运用高维概率与随机矩阵理论工具，分析分类器在维度与样本量不断增加时的行为。

Figure 1: Contributions and organization.

实验结果

研究问题

• RQ1 在何种条件下，经验风险最小化使用交叉熵损失、最小二乘损失以及一对多SVM在多类分类中均产生相同的插值解？
• RQ2 能否在二分类之外的多类线性分类中严格建立良性过拟合？
• RQ3 在高维多类设置中，即使观察到良好泛化性能，经典基于间隔的泛化界是否仍无法预测性能？
• RQ4 是否存在一个非渐近的过参数化阈值，使得三种训练算法均实现零训练误差与良好测试准确率？
• RQ5 在相同过参数化条件下，二分类中观察到的平方损失与交叉熵损失的等价性是否可推广至多类问题？

主要发现

• 推导出一个确定性充分条件，使得多类SVM、带单纯形编码的一对多SVM以及最小范数插值（MNI）解完全相同且插值所有训练数据点。
• 在高斯混合模型（GMM）和多项式逻辑模型（MLM）下，当数据维度p超过一个涉及n、k以及类别均值范数的非渐近阈值时，该充分条件以高概率成立，确保插值与解的一致性。
• MNI分类器的分类误差被一个依赖于类别均值范数与过参数化比率的指数衰减项所界定，表明即使基于间隔的界失效，泛化仍可能实现。
• 在相同充分条件下，一对多（OvA）SVM与MNI解等价，且该等价性以至少1 - c₁/n - c₂k exp(-n/(c₃k²))的概率成立，其中过参数化条件已给出。
• 一对多（OvO）SVM分类器在类似过参数化条件下也实现良性过拟合，其分类误差被限制为单个二分类器误差的(k-1)倍，从而在类别均值范数增大时实现误差的指数衰减。
• 论文证明了在泛化性能方面，交叉熵损失与最小二乘损失的等价性可推广至多类分类，两者在充分过参数化条件下均导致相同的插值解。

Figure 2: Inner products $\mathbf{W}_{\text{SVM}}\mathbf{x}_{c}\in\mathbb{R}^{4}$ for features $\mathbf{x}_{i}$ that each belongs to the $c$ -th class for $c\in[k]$ and $k=4$ total classes. The red lines correspond to the values $(k-1)/k=3/4$ and $-1/k=-1/4$ of the simplex encoding described in Theo