[论文解读] Manifold Adversarial Learning

Shufei Zhang, Kaizhu Huang+2 more|arXiv (Cornell University)|Jul 16, 2018

Adversarial Robustness in Machine Learning参考文献 23被引用 5

一句话总结

本文提出流形对抗训练（Manifold Adversarial Training, MAT），一种新颖的对抗学习框架，通过使用高斯混合模型（GMMs）和KL散度正则化，在潜在空间中平滑分布流形，从而提升模型的鲁棒性。通过对抗性扰动数据以破坏流形平滑性，同时训练模型来抵消这种影响，MAT在MNIST、CIFAR-10和SVHN上的监督学习与半监督学习任务中均取得了最先进性能，优于现有对抗方法。

ABSTRACT

Recently proposed adversarial training methods show the robustness to both adversarial and original examples and achieve state-of-the-art results in supervised and semi-supervised learning. All the existing adversarial training methods consider only how the worst perturbed examples (i.e., adversarial examples) could affect the model output. Despite their success, we argue that such setting may be in lack of generalization, since the output space (or label space) is apparently less informative.In this paper, we propose a novel method, called Manifold Adversarial Training (MAT). MAT manages to build an adversarial framework based on how the worst perturbation could affect the distributional manifold rather than the output space. Particularly, a latent data space with the Gaussian Mixture Model (GMM) will be first derived.On one hand, MAT tries to perturb the input samples in the way that would rough the distributional manifold the worst. On the other hand, the deep learning model is trained trying to promote in the latent space the manifold smoothness, measured by the variation of Gaussian mixtures (given the local perturbation around the data point). Importantly, since the latent space is more informative than the output space, the proposed MAT can learn better a robust and compact data representation, leading to further performance improvement. The proposed MAT is important in that it can be considered as a superset of one recently-proposed discriminative feature learning approach called center loss. We conducted a series of experiments in both supervised and semi-supervised learning on three benchmark data sets, showing that the proposed MAT can achieve remarkable performance, much better than those of the state-of-the-art adversarial approaches. We also present a series of visualization which could generate further understanding or explanation on adversarial examples.

研究动机与目标

• 为解决现有对抗训练方法仅关注输出空间鲁棒性、因标签空间信息量低而可能缺乏泛化能力的局限性。
• 通过在潜在空间中学习更鲁棒且紧凑的数据表示，而非仅在输出空间中，来提升模型泛化能力。
• 开发一个统一框架，通过操作潜在特征的分布结构，涵盖并改进现有方法（如中心损失）。
• 通过利用潜在空间中的流形平滑性，将对抗训练扩展至半监督学习。
• 生成更具挑战性且可解释的对抗样本，以反映数据流形的结构性变化。

提出的方法

• 该方法使用高斯混合模型（GMM）对潜在特征空间进行建模，以表示底层数据分布。
• 通过计算原始样本与扰动样本在潜在空间中GMM之间的KL散度，定义流形平滑性。
• 生成对抗性噪声以最大化KL散度，从而最大程度地破坏流形结构。
• 深度神经网络被训练以最小化该KL散度，从而在潜在流形中促进鲁棒性和平滑性。
• 框架使用最大互信息（MMI）对潜在空间进行正则化，确保表示具有信息量且具备判别性。
• 训练过程为端到端且可扩展，适用于监督学习与半监督学习。

实验结果

研究问题

• RQ1 对抗训练能否有效扩展到潜在空间，以在输出空间之外提升泛化能力？
• RQ2 使用GMMs和KL散度对潜在空间中的分布流形进行平滑，如何影响模型的鲁棒性与性能？
• RQ3 所提出的MAT框架能否统一或改进现有方法（如中心损失）？
• RQ4 基于流形结构的对抗训练是否能生成更具挑战性且可解释的对抗样本？
• RQ5 在监督与半监督设置下，MAT相较于最先进对抗训练方法的表现如何？

主要发现

• MAT在MNIST、CIFAR-10和SVHN的监督与半监督学习任务中均达到最先进性能，显著优于现有对抗训练方法。
• 在MNIST上，MAT对FGSM、PGD及其他对抗攻击表现出更优的鲁棒性，尤其在强扰动下，仅在FGSM防御的特定情况下，FGSM自身表现最佳。
• t-SNE嵌入可视化显示，MAT在不断增加对抗噪声时仍能保持更清晰的判别性类别簇，而VAT则表现出更严重的类别坍塌。
• MAT生成的对抗样本常将数字变形为视觉上相似的数字（如3→8、7→9、6→8），表明扰动针对的是构成数据流形的关键笔画结构。
• 该方法成功生成了难以与真实数据区分的对抗样本，尤其在数字数据集中，表明其在流形层面的扰动具有有效性。
• 在CIFAR-10上，对抗样本的视觉可解释性较低，可能是因为物体级结构比手写数字更复杂。