[论文解读] MixUp as Locally Linear Out-Of-Manifold Regularization

Hongyu Guo, Yongyi Mao+1 more|arXiv (Cornell University)|Sep 7, 2018

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出AdaMixUp，一种自适应数据增强方法，将MixUp形式化为局部线性流形外正则化，识别出'流形侵入'作为标准MixUp中的关键限制。通过利用策略生成器和侵入判别器学习混合策略，AdaMixUp避免了合成样本与真实数据点发生碰撞，同时提升了泛化性能，在CIFAR-10和CIFAR-100上取得了当前最优性能。

ABSTRACT

MixUp is a recently proposed data-augmentation scheme, which linearly interpolates a random pair of training examples and correspondingly the one-hot representations of their labels. Training deep neural networks with such additional data is shown capable of significantly improving the predictive accuracy of the current art. The power of MixUp, however, is primarily established empirically and its working and effectiveness have not been explained in any depth. In this paper, we develop an understanding for MixUp as a form of "out-of-manifold regularization", which imposes certain "local linearity" constraints on the model's input space beyond the data manifold. This analysis enables us to identify a limitation of MixUp, which we call "manifold intrusion". In a nutshell, manifold intrusion in MixUp is a form of under-fitting resulting from conflicts between the synthetic labels of the mixed-up examples and the labels of original training data. Such a phenomenon usually happens when the parameters controlling the generation of mixing policies are not sufficiently fine-tuned on the training data. To address this issue, we propose a novel adaptive version of MixUp, where the mixing policies are automatically learned from the data using an additional network and objective function designed to avoid manifold intrusion. The proposed regularizer, AdaMixUp, is empirically evaluated on several benchmark datasets. Extensive experiments demonstrate that AdaMixUp improves upon MixUp when applied to the current art of deep classification models.

研究动机与目标

• 通过将MixUp形式化为一种数据相关、局部线性的流形外正则化，提供对MixUp的理论理解。
• 识别出'流形侵入'——一种由合成标签与真实数据标签冲突导致的欠拟合现象——作为标准MixUp中的关键限制。
• 开发一种自适应、数据驱动的方法，自动学习混合策略以避免流形侵入。
• 通过最小化合成样本与数据流形相交的风险，提升深度神经网络的泛化性能。
• 在基准图像分类数据集上验证所提方法的有效性，证明其优于标准MixUp。

提出的方法

• 将MixUp形式化为一种局部线性流形外正则化方案，其中合成样本通过输入空间和标签空间中的线性插值得到。
• 引入一个策略生成网络，从数据中学习最优混合区域，支持超越简单两样本插值的高阶混合。
• 采用侵入判别器检测并惩罚在输入空间中过于接近真实数据点的合成样本。
• 使用两阶段训练流程：首先，利用学习到的策略生成混合样本；其次，通过侵入判别器的反馈优化策略。
• 通过联合优化分类损失和侵入损失，在训练中应用正则化，以避免流形侵入。
• 通过可微分的策略生成器动态调整每批次的混合超参数（α和Δ），消除手动调参的需要。

实验结果

研究问题

• RQ1 MixUp作为正则化手段如何运作，其潜在归纳偏置是什么？
• RQ2 当超参数调优不佳时，MixUp性能下降的原因是什么，能否对其进行形式化表征？
• RQ3 是否能通过端到端学习框架对流形侵入风险进行定量建模并加以缓解？
• RQ4 与标准MixUp中固定的全局超参数相比，自适应、数据驱动的混合策略学习是否能带来更好的泛化性能？
• RQ5 在不同数据规模和模型容量下，所提方法与标准MixUp在鲁棒性和性能上的对比如何？

主要发现

• 流形侵入——即混合样本与真实数据发生碰撞但接收不一致软标签——导致标准MixUp中出现欠拟合和性能下降。
• 在CIFAR-100上，当引入侵入判别器时，AdaMixUp相比标准MixUp将测试误差降低了2.01%（20.97% vs. 24.75%）。
• 在CIFAR-10上，当使用侵入判别器时，AdaMixUp实现3.52%的测试误差，优于基线模型（5.53%）和MixUp（3.83%）。
• 随着训练数据规模的增加，AdaMixUp与标准MixUp之间的性能差距进一步扩大，表明在数据稀缺条件下泛化增益更显著。
• AdaMixUp对模型容量表现出更强的鲁棒性：更大的ResNet-18变体从AdaMixUp中获益更多，随着滤波器数量增加，准确率持续提升。
• 在隐藏层而非输入空间中进行插值会导致性能显著下降（如CIFAR-100上误差达22.21%），原因在于嵌入空间中感知相似性较差。