[论文解读] Heat and Blur: An Effective and Fast Defense Against Adversarial Examples

Haya Brama, Tal Grinshpoun|arXiv (Cornell University)|Mar 17, 2020

Adversarial Robustness in Machine Learning被引用 5

一句话总结

该论文提出了一种新颖、快速且与网络架构无关的对抗样本防御方法，通过利用逐层相关性传播（LRP）生成显著性热力图，引导基于模糊的输入变换，从而在保留语义内容的同时破坏对抗性扰动。该方法在使用VGG19模型的ImageNet数据集上实现了强大的鲁棒性，当扰动被限制在低活跃区域时，攻击在超过99%的尝试中均告失败。

ABSTRACT

The growing incorporation of artificial neural networks (NNs) into many fields, and especially into life-critical systems, is restrained by their vulnerability to adversarial examples (AEs). Some existing defense methods can increase NNs' robustness, but they often require special architecture or training procedures and are irrelevant to already trained models. In this paper, we propose a simple defense that combines feature visualization with input modification, and can, therefore, be applicable to various pre-trained networks. By reviewing several interpretability methods, we gain new insights regarding the influence of AEs on NNs' computation. Based on that, we hypothesize that information about the "true" object is preserved within the NN's activity, even when the input is adversarial, and present a feature visualization version that can extract that information in the form of relevance heatmaps. We then use these heatmaps as a basis for our defense, in which the adversarial effects are corrupted by massive blurring. We also provide a new evaluation metric that can capture the effects of both attacks and defenses more thoroughly and descriptively, and demonstrate the effectiveness of the defense and the utility of the suggested evaluation measurement with VGG19 results on the ImageNet dataset.

研究动机与目标

• 开发一种对对抗性样本有效、快速且适用于已训练神经网络的防御方法，无需进行架构或训练修改。
• 通过LRP探索神经网络的可解释性，以深入了解对抗性样本如何影响模型决策。
• 设计一种利用特征可视化识别并保留语义相关图像区域，同时去除细微对抗噪声的防御机制。
• 引入一种新评估指标，更细致地描述对抗攻击与防御对模型行为的影响。

提出的方法

• 该方法使用逐层相关性传播（LRP）生成像素级相关性热力图，突出显示对网络预测最具影响力的输入特征。
• 识别相关性得分最高的前5%像素作为主要物体区域，并在输入变换过程中予以保留。
• 对剩余95%的像素应用高斯模糊，以破坏对抗性扰动，同时保留语义内容。
• 该防御在推理阶段应用，无需微调或架构更改，因此可与预训练模型兼容。
• 提出一种自适应攻击算法，通过热力图掩码迭代更新对抗样本，以指导扰动位置的放置。
• 使用新指标评估防御效果，量化攻击与防御对鲁棒性及干净准确率的影响。

实验结果

研究问题

• RQ1 可解释性方法如LRP是否能揭示即使在输入被扰动的情况下，对抗性样本中仍保留的语义信息？
• RQ2 基于LRP热力图的防御是否能有效降低对抗攻击的成功率，且无需微调或架构修改？
• RQ3 基于LRP热力图将非相关图像区域模糊化，如何影响预训练模型对对抗攻击的鲁棒性？
• RQ4 当攻击被限制在LRP识别出的最相关图像区域时，其失败程度如何？
• RQ5 新评估指标是否能比标准准确率指标更全面地捕捉对抗攻击与防御的细微影响？

主要发现

• 当攻击被限制仅扰动LRP识别出的前5%最相关像素时，该防御使成功生成对抗样本的成功率低于1%。
• 在约束条件下成功生成的对抗样本被低置信度错误分类至语义相关类别，表明攻击效果有限。
• 所提出的评估指标相比标准准确率指标，能更细致、全面地分析攻击与防御的表现。
• 该方法在使用预训练VGG19模型的ImageNet数据集上表现出强大的鲁棒性，且推理阶段计算开销极低。
• 即使攻击尝试自适应地针对热力图引导的区域，该防御仍保持有效性，表明其对自适应攻击策略具有鲁棒性。
• 本研究表明，可解释性方法如LRP不仅可用于模型解释，还可被重新用于防御，为鲁棒性研究提供了新范式。