[论文解读] On Mixup Regularization

Luigi Carratino, Moustapha Cissé+2 more|arXiv (Cornell University)|Jun 10, 2020

Machine Learning and Data Classification参考文献 37被引用 10

一句话总结

本文提供了对 Mixup 正则化的首次理论分析，表明其等价于在经过变换的数据上进行经验风险最小化，并引入结构化噪声。研究揭示了 Mixup 产生的协同正则化效应——标签平滑、雅可比正则化以及利普希茨常数减小——从而提升了模型的泛化能力、校准性能和鲁棒性，关键洞见在于推理时的变换可显著提升性能。

ABSTRACT

Mixup is a data augmentation technique that creates new examples as convex combinations of training points and labels. This simple technique has empirically shown to improve the accuracy of many state-of-the-art models in different settings and applications, but the reasons behind this empirical success remain poorly understood. In this paper we take a substantial step in explaining the theoretical foundations of Mixup, by clarifying its regularization effects. We show that Mixup can be interpreted as standard empirical risk minimization estimator subject to a combination of data transformation and random perturbation of the transformed data. We gain two core insights from this new interpretation. First, the data transformation suggests that, at test time, a model trained with Mixup should also be applied to transformed data, a one-line change in code that we show empirically to improve both accuracy and calibration of the prediction. Second, we show how the random perturbation of the new interpretation of Mixup induces multiple known regularization schemes, including label smoothing and reduction of the Lipschitz constant of the estimator. These schemes interact synergistically with each other, resulting in a self calibrated and effective regularization effect that prevents overfitting and overconfident predictions. We corroborate our theoretical analysis with experiments that support our conclusions.

研究动机与目标

• 为了从理论上解释 Mixup 在深度学习中为何能提升模型泛化能力和校准性能。
• 将 Mixup 的正则化效应分解为数据变换和噪声注入等底层机制。
• 识别出在 Mixup 训练模型的推理阶段缺失但至关重要的重缩放步骤。
• 展示 Mixup 如何通过结构化数据增强隐式结合多种正则化方法（例如标签平滑、利普希茨控制）。

提出的方法

• 作者将 Mixup 解释为在通过输入与标签的凸组合变换后的数据点上进行经验风险最小化。
• 他们推导了 Mixup 下损失函数的泰勒近似，揭示了隐含的正则化项，包括标签平滑和雅可比正则化。
• 该方法表明，Mixup 中的随机扰动会引发多种正则化效应，且这些效应相互协同作用。
• 一个关键洞见是，推理阶段应应用与训练阶段相同的变换，实证表明这能提升准确率与校准性能。
• 理论分析通过噪声和数据变换的结构，将 Mixup 与已知的正则化技术（如标签平滑和利普希茨正则化）联系起来。
• 该框架通过在 CIFAR-10 上使用模型进行实证验证，结果表明推理时应用变换可显著提升置信度校准性能与模型表现。

实验结果

研究问题

• RQ1 Mixup 如何在简单数据增强之外对深层神经网络施加正则化？
• RQ2 Mixup 的数据变换与标签混合所引发的隐含正则化效应是什么？
• RQ3 为何 Mixup 能够提升模型的校准性能，并增强对对抗性样本与损坏输入的鲁棒性？
• RQ4 Mixup 是否可被解释为一种结合多种正则化机制的结构化噪声注入形式？
• RQ5 在 Mixup 模型推理中缺失的关键组件是什么，其应用为何能显著提升性能？

主要发现

• Mixup 等价于在具有结构化噪声的变换数据上进行训练，其中变换与噪声注入共同诱导正则化。
• 该方法自然实现了标签平滑，从而降低预测置信度并改善校准性能，表现为预测直方图熵降低。
• Mixup 通过促使模型在输入空间中模仿行为良好的线性模型，诱导了雅可比正则化，且由于标签平滑的存在，该正则化在简单样本上也持续生效。
• 本文识别出在推理阶段应用与训练阶段相同的变换（此前被忽视）可显著提升准确率与校准性能。
• 实证结果证实，近似 Mixup 能够复现完整 Mixup 的置信度降低行为，验证了理论近似的有效性。
• 标签平滑与雅可比正则化的协同作用解释了为何联合输入与输出的 Mixup 优于仅输入或仅输出的独立变体。