[论文解读] Towards Understanding the Data Dependency of Mixup-style Training

Muthu Chidambaram, Xiang Wang+3 more|arXiv (Cornell University)|Oct 14, 2021

Adversarial Robustness in Machine Learning参考文献 27被引用 7

一句话总结

本文研究了多分类任务中Mixup训练的数据依赖性，表明尽管其在实践中表现成功，但在某些数据集上Mixup可能无法最小化经验风险。本文推导出Mixup最优分类器的闭式解，并确定了Mixup最小化经验风险的充分条件，同时分析了Mixup如何通过最大边缘化提升泛化能力，特别是在高维数据上的线性模型中。

ABSTRACT

In the Mixup training paradigm, a model is trained using convex combinations of data points and their associated labels. Despite seeing very few true data points during training, models trained using Mixup seem to still minimize the original empirical risk and exhibit better generalization and robustness on various tasks when compared to standard training. In this paper, we investigate how these benefits of Mixup training rely on properties of the data in the context of classification. For minimizing the original empirical risk, we compute a closed form for the Mixup-optimal classification, which allows us to construct a simple dataset on which minimizing the Mixup loss can provably lead to learning a classifier that does not minimize the empirical loss on the data. On the other hand, we also give sufficient conditions for Mixup training to also minimize the original empirical risk. For generalization, we characterize the margin of a Mixup classifier, and use this to understand why the decision boundary of a Mixup classifier can adapt better to the full structure of the training data when compared to standard training. In contrast, we also show that, for a large class of linear models and linearly separable datasets, Mixup training leads to learning the same classifier as standard training.

研究动机与目标

• 理解在何种数据与模型条件下Mixup训练能最小化经验风险，而非失败于该目标。
• 识别出Mixup训练导致经验风险最小化的充分条件，并在标准基准上验证其合理性。
• 通过分析Mixup分类器的边缘，解释其如何提升泛化能力与鲁棒性，为现有基于正则化的理论提供互补视角。
• 研究在高维高斯数据上，线性模型中Mixup与标准训练的等价性，证明在弱条件下二者学习到相同的分类器。
• 提供一个具体反例，表明Mixup在某些情况下无法最小化经验风险，从而说明Mixup的优势并非先验保证。

提出的方法

• 推导出在足够丰富的函数类上Mixup最优分类器的闭式表达，使能够对其实现行为进行理论分析。
• 构建一个合成数据集，其中Mixup损失的连续最小化器无法最小化原始经验风险，从而证明Mixup并不总能实现经验风险最小化。
• 建立Mixup训练能最小化经验风险的充分条件，并表明这些条件在标准图像分类数据集上近似成立。
• 分析Mixup分类器的边缘，以解释其提升的泛化能力与鲁棒性，尤其关注其与数据几何结构的关系。
• 证明在高维高斯特征上训练的线性模型中，Mixup与使用梯度下降的标准经验风险最小化（ERM）收敛到相同的分类器，概率趋近于1。
• 通过分析Mixup损失在数据点凸组合上的严格凸性，确保唯一最小化器并支持理论稳定性。

实验结果

研究问题

• RQ1 Mixup训练的性能在多大程度上依赖于底层数据分布，特别是其在最小化经验风险方面的能力？
• RQ2 在何种数据与模型条件下，Mixup训练能被严格证明最小化原始经验风险？
• RQ3 Mixup通过何种机制提升泛化能力与鲁棒性？其作用机制能否在正则化理论之外被形式化描述？
• RQ4 是否存在Mixup训练无法最小化经验风险的情形？此类失败能否被显式构造？
• RQ5 在高维数据的线性模型中，Mixup训练是否导致与标准训练不同的分类器，还是二者收敛到相同解？

主要发现

• 构建了一个合成数据集，其中最小化Mixup损失无法实现原始经验风险的最小化，证明了Mixup可能无法实现经验风险最小化。
• 推导出Mixup最优分类器的闭式解，使能够精确分析其在不同数据分布下的行为。
• 在弱非退化条件下，Mixup训练可被严格证明最小化经验风险，且这些条件在标准图像基准数据集上近似成立。
• 对Mixup分类器的边缘进行了表征，表明其对完整数据结构的适应性优于标准训练，从而解释了其泛化能力的提升。
• 对于高维高斯特征上的线性模型，Mixup与使用梯度下降的标准ERM训练在高概率下学习到相同的分类器。
• 证明了Mixup损失在数据点凸组合上的严格凸性，确保了唯一最小化器的存在，并为理论稳定性提供了支持。