[论文解读] Adversarial Visual Robustness by Causal Intervention

Kaihua Tang, Mingyuan Tao+1 more|arXiv (Cornell University)|Jun 17, 2021

Adversarial Robustness in Machine Learning参考文献 83被引用 8

一句话总结

本文提出因果干预工具变量方法（Causal Intervention by Instrumental Variable, CiiV），一种因果正则化方法，通过视网膜取样和对空间插值的线性响应，鼓励模型学习因果特征，从而提升对抗鲁棒性。CiiV 在 CIFAR-10、CIFAR-100 和 mini-ImageNet 上实现了针对自适应攻击（如 AutoAttack）的最先进鲁棒性，且无需使用对抗训练样本。

ABSTRACT

Adversarial training is the de facto most promising defense against adversarial examples. Yet, its passive nature inevitably prevents it from being immune to unknown attackers. To achieve a proactive defense, we need a more fundamental understanding of adversarial examples, beyond the popular bounded threat model. In this paper, we provide a causal viewpoint of adversarial vulnerability: the cause is the spurious correlation ubiquitously existing in learning, i.e., the confounding effect, where attackers are precisely exploiting these effects. Therefore, a fundamental solution for adversarial robustness is by causal intervention. As these visual confounders are imperceptible in general, we propose to use the instrumental variable that achieves causal intervention without the need for confounder observation. We term our robust training method as Causal intervention by instrumental Variable (CiiV). It's a causal regularization that 1) augments the image with multiple retinotopic centers and 2) encourages the model to learn causal features, rather than local confounding patterns, by favoring features linearly responding to spatial interpolations. Extensive experiments on a wide spectrum of attackers and settings applied in CIFAR-10, CIFAR-100, and mini-ImageNet demonstrate that CiiV is robust to adaptive attacks, including the recent AutoAttack. Besides, as a general causal regularization, it can be easily plugged into other methods to further boost the robustness.

研究动机与目标

• 通过识别对抗脆弱性的根本原因，解决对抗训练的根本局限性——即被动且对已知攻击者过拟合的问题。
• 探究为何深度神经网络对难以察觉的扰动敏感，而人类视觉系统却不受影响，尽管后者具有更高的生物复杂性。
• 将对抗样本解释为虚假相关性（混淆效应）的结果，而非模型缺陷，提供因果解释。
• 开发一种主动防御机制，训练过程中不依赖对抗样本，从而实现对未知和自适应攻击的鲁棒性。
• 证明通过工具变量的因果干预可作为通用正则化方法，在多种模型和数据集上提升鲁棒性。

提出的方法

• 基于视网膜取样提出一种工具变量框架，其中视网膜采样位置（R）作为与混淆因子无关的工具变量。
• 应用多个视网膜取样掩码（N_R）对输入图像进行增强，模拟人类视觉中的非均匀视觉注意。
• 实现一种正则化损失，促使特征对采样区域之间的空间插值产生线性响应，从而增强对局部混淆因子的鲁棒性。
• 通过线性响应约束抑制对局部、难以察觉的混淆模式（如小边缘、纹理）的依赖，这些模式常被用于对抗攻击。
• 设计一种因果干预机制，无需直接观测混淆因子，从而在无真实混淆因子信息的情况下实现鲁棒性。
• 将 CiiV 作为即插即用的正则化模块集成到现有模型中，无需从头开始训练即可提升鲁棒性。

实验结果

研究问题

• RQ1 在有界威胁模型之外，对抗脆弱性的根本原因是什么？能否从因果角度加以解释？
• RQ2 为何深度神经网络依赖于易受扰动的非鲁棒、虚假特征，而人类视觉系统却能避免这些特征？
• RQ3 是否可以使用基于工具变量的因果干预在不依赖训练阶段对抗样本的情况下对模型进行正则化？
• RQ4 对空间插值强制线性响应是否能提升对自适应和未见攻击的泛化能力？
• RQ5 CiiV 是否可作为通用正则化方法，在多种模型和数据集上提升鲁棒性？

主要发现

• 在 AutoAttack（l∞）下，CiiV 在 CIFAR-100 上实现了 23.05% 的鲁棒准确率，优于标准对抗训练基线，并展现出对自适应攻击的强大泛化能力。
• 在 CIFAR-10 上，CiiV 实现了 58.88% 的干净准确率和 32.48% 的鲁棒准确率（FGSM 攻击下），在干净性能与鲁棒性能之间实现了良好权衡。
• 消融实验表明，增加视网膜取样掩码数量（N_R）可提升鲁棒性，当 N_R=5 时，CIFAR-100 上的整体鲁棒准确率达到 37.98%。
• CiiV 显著降低了对局部混淆因子的依赖：可视化结果显示，要欺骗 CiiV 模型，对抗扰动必须擦除结构化模式，表明模型学习到了因果特征。
• CiiV 在 AutoAttack 的 l∞ 和 l2 变体下均保持强劲性能，CIFAR-100 上的总体鲁棒准确率分别为 22.61% 和 54.58%，证实其在多种威胁模型下的鲁棒性。
• CiiV 可无缝集成到其他防御方法（如 RetiAug）中，进一步提升鲁棒性，证明其作为通用正则化技术具备即插即用潜力。