[论文解读] Interpretations Cannot Be Trusted: Stealthy and Effective Adversarial Perturbations against Interpretable Deep Learning

Eldor Abdukhamidov, Mohammed Abuhamad+3 more|arXiv (Cornell University)|Nov 29, 2022

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出 AdvEdge 和 AdvEdge+ 两种隐蔽的对抗性攻击，通过利用图像中的边缘信息，同时欺骗深度学习分类器及其耦合的解释模型。这些攻击在极小扰动下实现高成功率，并在迁移能力方面显著优于现有方法，表明可解释性在深度学习系统中提供的安全保护极为有限。

ABSTRACT

Deep learning methods have gained increased attention in various applications due to their outstanding performance. For exploring how this high performance relates to the proper use of data artifacts and the accurate problem formulation of a given task, interpretation models have become a crucial component in developing deep learning-based systems. Interpretation models enable the understanding of the inner workings of deep learning models and offer a sense of security in detecting the misuse of artifacts in the input data. Similar to prediction models, interpretation models are also susceptible to adversarial inputs. This work introduces two attacks, AdvEdge and AdvEdge$^{+}$, that deceive both the target deep learning model and the coupled interpretation model. We assess the effectiveness of proposed attacks against two deep learning model architectures coupled with four interpretation models that represent different categories of interpretation models. Our experiments include the attack implementation using various attack frameworks. We also explore the potential countermeasures against such attacks. Our analysis shows the effectiveness of our attacks in terms of deceiving the deep learning models and their interpreters, and highlights insights to improve and circumvent the attacks.

研究动机与目标

• 探究深度学习模型中的可解释性是否可被利用以破坏其安全性。
• 开发能够同时欺骗深度学习分类器及其解释模型的对抗性攻击。
• 评估此类攻击在不同架构、解释模型和攻击框架下的有效性与迁移能力。
• 探索针对这些新型双重模型对抗攻击的防御对策，包括检测与鲁棒训练技术。

提出的方法

• 攻击使用基于边缘的扰动，在解释模型突出的区域嵌入对抗性噪声，从而提升隐蔽性与有效性。
• AdvEdge 和 AdvEdge+ 是 ADV2 攻击的优化变体，利用边缘信息在最小化视觉可察觉变化的同时最大化攻击成功率。
• 该方法可集成至多种攻击框架（如 PGD、C&W 和 StAdv），实现灵活且鲁棒的对抗样本生成。
• 基于解释的检测通过将多个解释器（如 Grad、CAM、RTS、MASK）的显著性图堆叠为多通道输入，以提升对抗样本检测的准确性。
• 鲁棒训练采用最小-最大优化策略，最小化良性样本与对抗样本之间在 L1 解释差异上的最坏情况，从而增强模型的抗干扰能力。
• 实验在 ImageNet 和 CIFAR-10 上进行，使用 ResNet 和 DenseNet 模型，结合四种解释模型：Grad、CAM、RTS 和 MASK。

实验结果

研究问题

• RQ1 能否构造对抗样本，使其同时欺骗深度学习分类器及其解释模型？
• RQ2 基于边缘的扰动如何提升对抗攻击在可解释深度学习系统中的隐蔽性与有效性？
• RQ3 AdvEdge 和 AdvEdge+ 生成的对抗样本在不同解释模型与攻击框架之间的迁移能力如何？
• RQ4 可解释性在多大程度上能为深度学习系统提供有意义的安全保障？
• RQ5 哪些防御措施能有效抵御这些双重模型对抗攻击？

主要发现

• AdvEdge 和 AdvEdge+ 在 ImageNet 上实现超过 90% 的攻击成功率，同时保持极小的扰动与高度隐蔽性。
• 与现有方法（如 ADV2）相比，这些攻击在不同解释模型之间的迁移能力显著更优。
• 通过组合 Grad、CAM 和 MASK 解释器的多解释器显著性图堆叠，检测准确率提升至 0.975。
• 在 CIFAR-10 上使用 Wide-ResNet 进行基于解释的鲁棒训练，在 ε=0 时保持 0.685 的测试准确率，且在对抗扰动下，显著性图相似性的 Kendall’s Tau 相关系数达 0.782。
• 普通训练模型在 ε=10/255 时显著性图相似性下降至 -0.183，而对抗训练模型则保持高度鲁棒性，相似性相关系数达 0.676。
• 结果证实，可解释性提供的安全保障极为有限，因为对抗样本即使经过人工与基于解释的审查仍可成功逃避检测。