[论文解读] Manifold Mixup: Better Representations by Interpolating Hidden States

Vikas Verma, Alex Lamb+6 more|arXiv (Cornell University)|Jun 13, 2018

Generative Adversarial Networks and Image Synthesis被引用 477

一句话总结

Manifold Mixup 通过在隐藏表示上进行插值（带混合标签）来正则化网络，从而获得更平坦的类别表示、更平滑的决策边界、更好的泛化，以及对新颖形变和单步对抗攻击的鲁棒性提升。

ABSTRACT

Deep neural networks excel at learning the training data, but often provide incorrect and confident predictions when evaluated on slightly different test examples. This includes distribution shifts, outliers, and adversarial examples. To address these issues, we propose Manifold Mixup, a simple regularizer that encourages neural networks to predict less confidently on interpolations of hidden representations. Manifold Mixup leverages semantic interpolations as additional training signal, obtaining neural networks with smoother decision boundaries at multiple levels of representation. As a result, neural networks trained with Manifold Mixup learn class-representations with fewer directions of variance. We prove theory on why this flattening happens under ideal conditions, validate it on practical situations, and connect it to previous works on information theory and generalization. In spite of incurring no significant computation and being implemented in a few lines of code, Manifold Mixup improves strong baselines in supervised learning, robustness to single-step adversarial attacks, and test log-likelihood.

研究动机与目标

• 激发在分布改变和对抗扰动下深度网络更好泛化的需求。
• 介绍 Manifold Mixup 作为一种正则化器，在隐藏表示中执行线性插值并配以相应的软标签。
• 在理论上表征表示扁平化并在不同数据集上实证验证其出现及收益。
• 展示在泛化、对数似然以及对对抗和新颖形变的鲁棒性方面的实证提升。

提出的方法

• 通过从一组可选层中随机选择一个层 k，在隐藏表示 gk(x) 与 gk(x′) 及其一热标签 上计算 Mixλ，然后对整个网络进行反向传播来训练带有 Manifold Mixup 的网络。
• 将对一对样本及 Mixλ 的损失取平均来最小化，即 L(f)=E_{(x,y),(x′,y′),λ,k} ℓ(fk(Mixλ(gk(x),gk(x′))), Mixλ(y,y′)).
• 将 Manifold Mixup 与 Input Mixup 及其他正则化器在基准数据集（CIFAR-10/100、SVHN、TinyImagenet）上进行比较，并通过 SVD 分析表示。
• 若隐藏层维度 dim(H) ≥ d−1（d 为类别数），最优解 f⋆ 为线性，并且训练点位于一个 dim(H)−d+1 的子空间上（定理 1 与推论 1）。
• 检查对形变和对抗攻击（FGSM、PGD）的鲁棒性，并分析梯度行为以确保梯度信号完整性（反梯度掩蔽检查）。
• 证明 Manifold Mixup 在不同架构（PreActResNet 变体、Wide-ResNet）和数据集上获得更好的负对数似然 (NLL) 和测试误差。

实验结果

研究问题

• RQ1 将 Mixλ 在隐藏表示上的插值相比输入空间的 mixup 及其他正则化器，是否能提升泛化和校准（NLL）？
• RQ2 Manifold Mixup 如何影响隐藏层中类别表示的几何结构（扁平化、方差方向减少）？
• RQ3 该方法是否增强对新颖输入形变和单步对抗攻击的鲁棒性？程度如何？
• RQ4 是深层表示中的插值训练带来改进，还是仅仅输入层的正则化信号？
• RQ5 对超参数如 α 和可选层集 S 的敏感性如何？

主要发现

• Manifold Mixup 在 CIFAR-10/100、SVHN、TinyImagenet 上的测试误差更好，NLL 显著低于常规模型、AdaMix 和 Input Mixup。
• 对新颖形变的鲁棒性提高，在旋转、剪切和缩放输入上比基线有更高的准确率。
• FGSM 对抗准确率显著提升，但 PGD 鲁棒性未见明显提升。
• SVD 分析显示 Manifold Mixup 使类别特异表示扁平化，相对于最大特征值，较小奇异值之和减小，指示比其他正则化器更低维度的离散度。
• 理论结果表明，若隐藏维度足够高，在隐藏层进行混合可以使损失趋零且决策边界为线性，暗示类别表示的扁平化。