[论文解读] Manifold Mixup: Encouraging Meaningful On-Manifold Interpolation as a Regularizer.

Vikas Verma, Alex Lamb+4 more|arXiv (Cornell University)|Jun 13, 2018

Adversarial Robustness in Machine Learning参考文献 21被引用 44

一句话总结

流形混合（Manifold Mixup）通过在隐藏表示的凸组合上进行训练，改善了深度学习的泛化能力，促使数据流形上的决策边界更加平滑。这带来了更好的半监督学习效果、对对抗样本的鲁棒性，以及在标签数据有限情况下的性能提升，且无需增加推理成本。

ABSTRACT

Deep networks often perform well on the data manifold on which they are trained, yet give incorrect (and often very confident) answers when evaluated on points from off of the training distribution. This is exemplified by the adversarial examples phenomenon but can also be seen in terms of model generalization and domain shift. We propose Manifold Mixup which encourages the network to produce more reasonable and less confident predictions at points with combinations of attributes not seen in the training set. This is accomplished by training on convex combinations of the hidden state representations of data samples. Using this method, we demonstrate improved semi-supervised learning, learning with limited labeled data, and robustness to adversarial examples. Manifold Mixup requires no (significant) additional computation. Analytical experiments on both real data and synthetic data directly support our hypothesis for why the Manifold Mixup method improves results.

研究动机与目标

• 解决深度神经网络在分布外或罕见属性组合上做出过度自信的错误预测的问题。
• 提升模型的泛化能力和鲁棒性，尤其是在分布偏移和半监督学习设置下。
• 开发一种正则化技术，鼓励在数据流形内进行有意义的插值，同时不增加计算成本。
• 提供一种通过隐藏特征的结构化插值来增强模型置信度校准和对抗鲁棒性的方法。

提出的方法

• 该方法在来自不同数据样本的隐藏层表示的凸组合上进行训练，而非原始输入数据。
• 在隐藏特征空间中执行插值，有效正则化模型，使其在数据流形上实现平滑泛化。
• 使用β分布的混合系数执行插值，类似于标准Mixup，但应用于隐藏层层面。
• 使用标准反向传播进行端到端训练，计算开销无显著增加。
• 该方法隐式促使网络学习到数据流形更结构化和连续的表示。

实验结果

研究问题

• RQ1 在分布外和罕见属性组合上插值隐藏表示能否提升模型泛化能力？
• RQ2 在隐藏空间插值上进行训练是否能增强对对抗样本的鲁棒性？
• RQ3 流形混合在半监督学习和低数据场景下能多大程度上提升性能？
• RQ4 与标准Mixup及其他正则化技术相比，流形混合在校准和鲁棒性方面表现如何？

主要发现

• 流形混合在半监督学习基准上实现了最先进性能，优于标准Mixup和其他正则化方法。
• 该方法提升了对抗鲁棒性，降低了对抗攻击在测试数据上的成功率。
• 它改善了模型校准，使分布外（OOD）样本的置信度估计更加可靠。
• 该方法在低数据场景下表现出一致的性能提升，展现出更好的样本效率。