[论文解读] Data Interpolating Prediction: Alternative Interpretation of Mixup

Takuya Shimada, Shoichiro Yamaguchi+2 more|arXiv (Cornell University)|Jun 20, 2019

Machine Learning and Data Classification参考文献 15被引用 8

一句话总结

本文提出数据插值预测（DIP），一种新颖的框架，将样本混合嵌入分类器的假设空间中，对训练和推理样本一视同仁。通过计算随机混合的期望预测，DIP 降低了泛化误差，在 CIFAR-10 和 CIFAR-100 上的表现优于标准 Mixup，测试误差为 5.52%（VGG16，α=2，S=4），相较 Mixup 的 5.81% 有所提升。

ABSTRACT

Data augmentation by mixing samples, such as Mixup, has widely been used typically for classification tasks. However, this strategy is not always effective due to the gap between augmented samples for training and original samples for testing. This gap may prevent a classifier from learning the optimal decision boundary and increase the generalization error. To overcome this problem, we propose an alternative framework called Data Interpolating Prediction (DIP). Unlike common data augmentations, we encapsulate the sample-mixing process in the hypothesis class of a classifier so that train and test samples are treated equally. We derive the generalization bound and show that DIP helps to reduce the original Rademacher complexity. Also, we empirically demonstrate that DIP can outperform existing Mixup.

研究动机与目标

• 为解决 Mixup 中增强训练样本与真实测试样本之间分布不匹配所导致的泛化差距问题。
• 通过同等对待混合样本，统一训练与推理过程，避免产生有偏的决策边界。
• 通过 Rademacher 复杂度降低，理论上证明样本混合的有效性。
• 通过实证验证 DIP 能够提升泛化性能，并在图像分类任务中超越标准 Mixup。

提出的方法

• DIP 将分类器定义为基模型在输入样本及其混合系数随机组合上的期望：f(x) = E[ h(λx + (1−λ)x') ]，其中 λ ~ p(λ)，x' ~ 经验分布。
• 该方法在训练和推理过程中均使用蒙特卡洛采样来近似期望，确保对混合样本的处理一致。
• 利用 Rademacher 复杂度推导出泛化界，表明样本混合可降低假设类的复杂度。
• 该界依赖于 Cλ = E[λ² + (1−λ)²]，当 λ ~ Beta(α+1, α) 时，Cλ 随 α 增大而减小，意味着更高 α 值可带来更好的泛化性能。
• 在优化过程中，使用 S 个蒙特卡洛样本对经验损失进行上界逼近，模型被训练以最小化该上界。
• 评估了两种训练模式：标签保持型（α+1, α）与标签混合型（α, α），推理始终使用标签保持型混合。

实验结果

研究问题

• RQ1 将样本混合封装在分类器的假设空间中，能否降低数据增强引起的泛化差距？
• RQ2 所提出的 DIP 框架在测试准确率和泛化稳定性方面是否优于标准 Mixup？
• RQ3 混合系数分布的选择（如 Beta(α+1, α)）如何影响泛化性能？
• RQ4 蒙特卡洛采样数量（S）在 DIP 的泛化与优化中起什么作用？
• RQ5 Rademacher 复杂度能否用于理论证明样本混合在 DIP 中的优势？

主要发现

• 在 CIFAR-10 上，使用 VGG16（α=2，S=4）时，DIP 的测试误差为 5.52%，优于 Mixup 的 5.81%，在相同设置下表现更优。
• 在 PreActResNet18 上，DIP 的误差为 4.40%（α=2，S=4），而 Mixup 为 4.46%，表明性能持续提升。
• 随着 α 增大，泛化差距减小，与理论边界一致，表明更大的 α 值可降低 Rademacher 复杂度。
• 当蒙特卡洛采样数（S）超过 1 时，泛化差距趋于增大，表明更高的方差起到了正则化作用。
• 使用标签混合训练的 DIP 性能优于标签保持训练，表明训练过程中混合标签更有效。
• 理论分析证实，样本混合可降低经验 Rademacher 复杂度，为泛化性能的提升提供了理论依据。