[论文解读] Detection Defense Against Adversarial Attacks with Saliency Map

Dengpan Ye, Chuanxi Chen+3 more|arXiv (Cornell University)|Sep 6, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用 6

一句话总结

本文提出了一种新颖的对抗性攻击检测防御方法，通过利用显著性图提升模型可解释性，并基于预测不一致性检测对抗性扰动。通过将显著性图与颜色反转、零均值等附加噪声技术结合，该方法在 ImageNet 和 CIFAR-10 上对 FGSM 和 C&W 攻击的检测准确率超过 90%，优于关键基准测试中的最先进特征压缩方法。

ABSTRACT

It is well established that neural networks are vulnerable to adversarial examples, which are almost imperceptible on human vision and can cause the deep models misbehave. Such phenomenon may lead to severely inestimable consequences in the safety and security critical applications. Existing defenses are trend to harden the robustness of models against adversarial attacks, e.g., adversarial training technology. However, these are usually intractable to implement due to the high cost of re-training and the cumbersome operations of altering the model architecture or parameters. In this paper, we discuss the saliency map method from the view of enhancing model interpretability, it is similar to introducing the mechanism of the attention to the model, so as to comprehend the progress of object identification by the deep networks. We then propose a novel method combined with additional noises and utilize the inconsistency strategy to detect adversarial examples. Our experimental results of some representative adversarial attacks on common datasets including ImageNet and popular models show that our method can detect all the attacks with high detection success rate effectively. We compare it with the existing state-of-the-art technique, and the experiments indicate that our method is more general.

研究动机与目标

• 解决深度神经网络对导致安全关键应用中误分类的不可察觉对抗性扰动的脆弱性。
• 开发一种通用、非侵入式的检测防御方法，无需对模型进行微调或架构修改。
• 通过显著性图可视化激活区域，提升模型可解释性，以检测原始输入与扰动输入之间的不一致性。
• 在 ImageNet 和 CIFAR-10 等标准数据集上，提升对包括 FGSM、C&W 和 OSPA 在内的多样化对抗攻击的检测鲁棒性。
• 提供一种比现有特征压缩防御更通用、更有效的替代方案，后者需要针对不同攻击进行特定调优。

提出的方法

• 该方法使用类别激活映射（CAM）生成显著性图，突出图像中对模型预测最具影响力的区域。
• 通过在原始输入与添加噪声（如颜色反转或零均值）的修改版本之间比较模型输出，引入预测不一致性，以放大对抗样本中的差异。
• 防御框架通过评估原始输入与扰动输入之间预测结果的差异来工作，其中高不一致性表明可能存在对抗性样本。
• 显著性图通过聚焦于模型的关注区域，用于引导检测过程，从而增强可解释性和检测灵敏度。
• 该方法结合显著性图分析与噪声注入技术，以放大干净样本与对抗样本之间特征激活模式的细微差异。
• 该方法在标准数据集（ImageNet、CIFAR-10）和模型（VGG16）上进行评估，检测性能通过成功率和原始输入准确率进行衡量。

实验结果

研究问题

• RQ1 是否可以利用基于显著性图的可解释性，在不修改模型架构或微调的情况下检测对抗性样本？
• RQ2 在原始输入与噪声扰动输入之间预测不一致性是否能提升对多样化对抗攻击的检测鲁棒性？
• RQ3 在检测准确率和对不同类型攻击的泛化能力方面，该方法与特征压缩相比表现如何？
• RQ4 将显著性图与简单噪声变换（如颜色反转、零均值）结合，是否能提升检测性能，同时保持干净输入的准确率？
• RQ5 在黑盒或真实世界场景中，该方法是否比针对特定攻击的防御方法（如特征压缩）更具通用性？

主要发现

• 当使用显著性图结合颜色反转（θ=0.1）时，该方法对 OSPA 攻击的检测成功率达到 94.3%，对 FGSM 攻击为 69.5%，对 C&W2 攻击为 47.8%。
• 采用零均值噪声时，检测成功率达到 OSPA 93.7%、FGSM 82.8%、C&W2 69.6%，性能优于特征压缩方法。
• 在 VGG16 模型上，该方法在干净 ImageNet 输入上的准确率保持在 93% 以上，同时能有效检测对抗性样本。
• 最优组合为显著性图与零均值噪声（θ=0.1），其在检测准确率和干净输入保留方面均优于最佳特征压缩配置（5-bit、2×2 中值滤波、11-3-4 非局部滤波）。
• 该方法在多种攻击类型上表现出良好的泛化能力，包括基于梯度的（FGSM、C&W）和物理世界（OSPA）攻击，表明其具有广泛适用性。
• 结果表明，通过显著性图实现的可解释性驱动检测比特征压缩更具鲁棒性和通用性，后者需要针对每类攻击进行微调。