[论文解读] Fooling Neural Network Interpretations via Adversarial Model Manipulation

Juyeon Heo, Sunghwan Joo+1 more|arXiv (Cornell University)|Feb 6, 2019

Adversarial Robustness in Machine Learning参考文献 35被引用 73

一句话总结

该论文表明，最先进的基于显著性的解释器（LRP、Grad-CAM、SimpleGrad）在通过对预训练模型进行微调、且不损害准确性的情况下，可以被愚弄，这通过被动和主动操控来改变解释并在方法之间转移。

ABSTRACT

We ask whether the neural network interpretation methods can be fooled via adversarial model manipulation, which is defined as a model fine-tuning step that aims to radically alter the explanations without hurting the accuracy of the original models, e.g., VGG19, ResNet50, and DenseNet121. By incorporating the interpretation results directly in the penalty term of the objective function for fine-tuning, we show that the state-of-the-art saliency map based interpreters, e.g., LRP, Grad-CAM, and SimpleGrad, can be easily fooled with our model manipulation. We propose two types of fooling, Passive and Active, and demonstrate such foolings generalize well to the entire validation set as well as transfer to other interpretation methods. Our results are validated by both visually showing the fooled explanations and reporting quantitative metrics that measure the deviations from the original explanations. We claim that the stability of neural network interpretation method with respect to our adversarial model manipulation is an important criterion to check for developing robust and reliable neural network interpretation method.

研究动机与目标

• 评估在对抗性模型操控下神经网络解释方法的稳定性。
• 证明在标准架构（VGG19、ResNet50、DenseNet121）上，常用的基于显著性的解释器可能被愚弄。
• 表征被动和主动愚弄方案及其在解释方法之间的转移能力。
• 在大规模数据（ImageNet）上评估愚弄鲁棒性，并讨论对解释可靠性的影响。

提出的方法

• 对预训练模型进行微调，目标函数为分类损失加上一个基于解释的惩罚项。
• 定义被动愚弄（Location、Top-k、Center-mass）以产生无信息量的解释。
• 定义主动愚弄，使用专门的愚弄数据集在两个目标类别之间交换解释。
• 使用三种解释器（LRP-Composite、Grad-CAM、SimpleGrad）来为解释生成热图。
• 在 ImageNet 上对留出验证数据，使用每类愚弄类型的预定义阈值来评估愚弄成功率（FSR）。
• 通过 AOPC 和对抗性训练实验评估鲁棒性。

实验结果

研究问题

• RQ1 在有针对性模型微调后，像 LRP、Grad-CAM 和 SimpleGrad 这样的解释方法能否可靠地反映模型的推理依据？
• RQ2 被动愚弄（Location、Top-k、Center-mass）是否会在不实质性影响准确性的情况下降低可解释性？
• RQ3 主动愚弄是否可以在类别之间交换解释，并且此类操控是否可在不同解释器之间转移？
• RQ4 在不同架构（VGG19、ResNet50、DenseNet121）以及像对抗性训练这样的防御性训练下，愚弄行为有何差异？

主要发现

• 解释方法易受到对抗性模型操控的影响，准确度损失极小（Top-1 ~2%，Top-5 ~1%）。
• 被动愚弄可以在整个验证集上持续误导解释，并在解释器之间转移（LRP T、Grad-CAM、SimpleG T）。
• 主动愚弄可以在两类之间交换解释，在不同架构上成功率不同（VGG19/ResNet50 高，DenseNet121 有限）。
• 愚弄能跨解释器及到其他架构转移，表明基于显著性的解释存在系统性稳定性问题。
• 该操控可能难以通过简单扰动或对抗性训练检测或撤销，并且在高斯扰动下仍然存在。