[论文解读] CausalAdv: Adversarial Robustness through the Lens of Causality

Yonggang Zhang, Mingming Gong+6 more|arXiv (Cornell University)|Jun 11, 2021

Adversarial Robustness in Machine Learning被引用 14

一句话总结

CausalAdv 通过构建因果图来建模对抗样本，识别标签与干扰因子（如图像风格）之间的虚假相关性，提出一种基于干预的分布对齐方法，以减少对虚假相关性的依赖，从而提升对抗鲁棒性。该方法在多种攻击（包括 PGD 和 AutoAttack）下，于 CIFAR-10 和 CIFAR-100 上实现了最先进水平的鲁棒准确率。

ABSTRACT

The adversarial vulnerability of deep neural networks has attracted significant attention in machine learning. As causal reasoning has an instinct for modelling distribution change, it is essential to incorporate causality into analyzing this specific type of distribution change induced by adversarial attacks. However, causal formulations of the intuition of adversarial attacks and the development of robust DNNs are still lacking in the literature. To bridge this gap, we construct a causal graph to model the generation process of adversarial examples and define the adversarial distribution to formalize the intuition of adversarial attacks. From the causal perspective, we study the distinction between the natural and adversarial distribution and conclude that the origin of adversarial vulnerability is the focus of models on spurious correlations. Inspired by the causal understanding, we propose the Causal inspired Adversarial distribution alignment method, CausalAdv, to eliminate the difference between natural and adversarial distributions by considering spurious correlations. Extensive experiments demonstrate the efficacy of the proposed method. Our work is the first attempt towards using causality to understand and mitigate the adversarial vulnerability.

研究动机与目标

• 为理解深度神经网络中的对抗脆弱性缺乏因果形式化的问题提供解决方案。
• 将对抗攻击的直观理解形式化为对干扰因子进行干预所引起的分布偏移。
• 提出一种通过消除标签与非因果图像特征之间虚假相关性来缓解对抗脆弱性的方法。
• 通过为对抗数据生成构建因果图，弥合因果推理与对抗鲁棒性之间的鸿沟。
• 提出一种不依赖标准对抗训练启发式方法的分布对齐方法，以提升鲁棒性。

提出的方法

• 构建一个建模数据生成过程的因果图，其中标签由内容因素引起，而干扰因子（如风格）与标签无关，但在数据中存在相关性。
• 将对抗分布定义为对自然分布的干预，具体通过操纵干扰因子来生成对抗样本。
• 将标签与干扰因子之间的虚假相关性识别为对抗脆弱性的根本原因。
• 提出 CausalAdv，一种分布对齐方法，通过显式建模并减少对虚假特征的依赖，来最小化自然分布与对抗分布之间的差异。
• 利用基于干预的分布对齐，促使模型依赖于因果性内容特征，而非风格或纹理伪影。
• 与现有对抗训练方法（如 Madry 和 TRADES）共享核心原理，但通过因果推理实现更优的鲁棒性与更低的过拟合风险。

实验结果

研究问题

• RQ1 如何利用因果推理来形式化对抗攻击背后的机制及其引发的分布偏移？
• RQ2 标签与干扰因子之间的虚假相关性在对抗脆弱性中扮演何种角色？
• RQ3 对对抗样本的因果理解能否带来更鲁棒的深度学习模型？
• RQ4 基于因果结构的分布对齐与标准对抗训练相比，在鲁棒性与泛化能力方面表现如何？
• RQ5 对干扰因子进行因果干预是否能在不牺牲自然准确率的前提下提升模型鲁棒性？

主要发现

• 对抗脆弱性的根源在于深度神经网络对标签与干扰因子（如图像风格）之间虚假相关性的依赖。
• 在 CIFAR-10 上，CausalAdv 显著提升了鲁棒准确率，达到 54.44% 的最佳鲁棒准确率（最优结果）和 50.93% 的最终检查点准确率，相比 Madry 方法，最佳与最终性能之间的差距更小。
• 在 CIFAR-100 上，CausalAdv 在 PGD 和 AutoAttack 攻击下实现了最先进水平的鲁棒准确率，优于包括 TRADES 和 Madry 在内的现有方法。
• 该方法减轻了对抗训练中常见的鲁棒过拟合现象，即在某一训练轮次后鲁棒准确率开始下降。
• CausalAdv 与 Madry 和 TRADES 在概念上具有相似性，但通过显式建模和缓解虚假相关性，实现了更优的鲁棒性。
• 该方法在多个数据集（MNIST、CIFAR-10、CIFAR-100）上进行了验证，并在多种对抗攻击（包括 FGSM、PGD、C&W 和 AutoAttack）下表现出一致的鲁棒性提升。