[论文解读] Interpolating Classifiers Make Few Mistakes

Tengyuan Liang, Benjamin Recht|arXiv (Cornell University)|Jan 28, 2021

Face and Expression Recognition参考文献 26被引用 15

一句话总结

本文对最小范数插值分类器（MNIC）和正则化最小二乘分类（RLSC）进行了理论分析，表明在温和条件下它们具有良好的泛化性能。通过基本的矩阵代数和概率假设，推导出错误率上界和泛化率，其形式为插值解的平方范数除以数据点数量，与经典的基于间隔的泛化率一致，并解释了这些方法在实践中取得成功的原因。

ABSTRACT

This paper provides elementary analyses of the regret and generalization of minimum-norm interpolating classifiers (MNIC). The MNIC is the function of smallest Reproducing Kernel Hilbert Space norm that perfectly interpolates a label pattern on a finite data set. We derive a mistake bound for MNIC and a regularized variant that holds for all data sets. This bound follows from elementary properties of matrix inverses. Under the assumption that the data is independently and identically distributed, the mistake bound implies that MNIC generalizes at a rate proportional to the norm of the interpolating solution and inversely proportional to the number of data points. This rate matches similar rates derived for margin classifiers and perceptrons. We derive several plausible generative models where the norm of the interpolating classifier is bounded or grows at a rate sublinear in $n$. We also show that as long as the population class conditional distributions are sufficiently separable in total variation, then MNIC generalizes with a fast rate.

研究动机与目标

• 为最小范数插值分类器（MNIC）和正则化最小二乘分类（RLSC）在分类任务中表现出的强实证性能提供理论解释。
• 仅使用矩阵求逆引理和线性代数，为MNIC推导出对任意数据集都成立的无条件错误率上界。
• 在独立同分布（i.i.d.）数据假设下，证明MNIC的泛化速率与 $ B_n^2 / n $ 成正比，其中 $ B_n $ 为插值解的期望范数。
• 识别出插值解范数在 $ n $ 上亚线性增长的合理生成模型，从而确保快速泛化。
• 建立确保MNIC实现快速泛化速率的条件，特别是总变差距离下的可分性条件。

提出的方法

• 通过两次应用矩阵求逆引理，仅基于线性代数性质，为MNIC推导出错误率上界。
• 在i.i.d.数据假设下，将错误率上界应用马尔可夫不等式，推导出泛化误差率为 $ B_n^2 / n $。
• 利用集中不等式和随机矩阵理论，分析在各种概率数据模型下解范数 $ \|\widehat{f}_{S_n}\|_K $ 的增长行为。
• 引入条件期望 $ \eta_\star(x) = \mathbb{P}(y=+1|x) - \mathbb{P}(y=-1|x) $ 以刻画贝叶斯误差，并将其与泛化误差上界关联。
• 利用类条件分布 $ P_+ $ 与 $ P_- $ 之间的总变差距离，建立贝叶斯误差 $ \mathcal{E}(X) $ 的上界。
• 利用噪声条件（如Mammen-Tsybakov和Massart条件）控制贝叶斯误差，确保泛化误差上界中的次优率。

实验结果

研究问题

• RQ1 在何种条件下，尽管完美插值了训练标签，最小范数插值分类器仍能实现良好泛化？
• RQ2 能否仅使用基本矩阵代数，独立于数据分布，为MNIC推导出错误率上界？
• RQ3 插值解的范数如何随样本量 $ n $ 增长？在何种数据模型下该增长为亚线性？
• RQ4 类条件分布之间的总变差距离在确保低泛化误差中起什么作用？
• RQ5 MNIC的泛化速率能否与感知机或SVM等基于间隔的分类器相匹配或趋近？

主要发现

• MNIC的错误率上界对任意数据集无条件成立，且仅通过两次应用矩阵求逆引理即可直接推导得出。
• 在i.i.d.采样下，MNIC的泛化误差以 $ B_n^2 / n $ 的速率增长，其中 $ B_n $ 为插值解的期望范数，该结果与经典基于间隔的泛化率一致。
• 在类条件分布具有足够总变差距离可分性的数据模型中，贝叶斯误差 $ \mathcal{E}(X) $ 较小，从而导致快速泛化速率。
• 在Mammen-Tsybakov噪声条件下，参数 $ \alpha \in [0,1] $，期望贝叶斯误差有界于 $ C_0 \cdot \frac{2(1-\alpha)}{2-\alpha} $，当 $ \alpha = 1 $ 时误差为零。
• 在具有足够分离度的高斯混合模型中，贝叶斯误差以高概率为 $ O(1/n) $，从而导致 $ O(1/n) $ 的泛化误差。
• 在合理的生成模型下（如 $ \|\eta_\star\|_K $ 有界且类间分离充分），插值解的范数在 $ n $ 上呈亚线性增长。