[论文解读] How to Manipulate CNNs to Make Them Lie: the GradCAM Case

Tom J. Viering, Ziqi Wang+2 more|arXiv (Cornell University)|Jul 25, 2019

Adversarial Robustness in Machine Learning参考文献 34被引用 14

一句话总结

本文展示了，一种流行的卷积神经网络解释方法GradCAM，可通过对抗性地修改模型权重和结构，生成任意解释，同时保持模型准确率不变。其关键贡献是证明了GradCAM对模型级操纵不具备鲁棒性，暴露了在医疗等高风险领域中可解释人工智能的关键安全漏洞。

ABSTRACT

Recently many methods have been introduced to explain CNN decisions. However, it has been shown that some methods can be sensitive to manipulation of the input. We continue this line of work and investigate the explanation method GradCAM. Instead of manipulating the input, we consider an adversary that manipulates the model itself to attack the explanation. By changing weights and architecture, we demonstrate that it is possible to generate any desired explanation, while leaving the model's accuracy essentially unchanged. This illustrates that GradCAM cannot explain the decision of every CNN and provides a proof of concept showing that it is possible to obfuscate the inner workings of a CNN. Finally, we combine input and model manipulation. To this end we put a backdoor in the network: the explanation is correct unless there is a specific pattern present in the input, which triggers a malicious explanation. Our work raises new security concerns, especially in settings where explanations of models may be used to make decisions, such as in the medical domain.

研究动机与目标

• 研究GradCAM解释在模型级操纵而非输入级扰动下的鲁棒性。
• 证明通过对抗性修改卷积神经网络的权重和结构，可生成任意期望的GradCAM解释。
• 评估GradCAM在模型操纵下是否满足基本的合理性检验，如实现不变性。
• 探索结合模型级与输入级攻击（如后门触发器）以破坏解释的可行性。
• 提高对可解释人工智能中安全风险的认识，尤其是在医疗等安全关键应用中。

提出的方法

• 通过对抗性方式修改卷积神经网络的权重和结构，将GradCAM的关注区域引导至输入图像的任意目标区域。
• 使用基于梯度的GradCAM，根据最终卷积层对预测类别梯度生成显著性图。
• 训练修改后的模型，使其在ImageNet（ILSVRC2012验证集）上的准确率与原始网络基本一致。
• 引入一种后门机制，使得特定输入模式（如贴纸）触发恶意解释，而正常输入仍保持正确解释。
• 使用目标GradCAM热图与实际GradCAM热图之间的L1距离衡量解释保真度。
• 通过比较多种操纵类型（恒定、笑脸、随机、后门）下的模型预测与GradCAM输出，验证鲁棒性。

实验结果

研究问题

• RQ1 通过改变模型权重和结构，是否可以在不改变模型预测准确率的情况下操纵GradCAM解释？
• RQ2 当模型被对抗性修改时，GradCAM是否满足实现不变性的公理？
• RQ3 是否可以在卷积神经网络中嵌入后门，使得GradCAM对干净输入生成正确解释，而对触发器存在时生成恶意解释？
• RQ4 GradCAM解释对结构和权重级变化的敏感度如何？其对解释保真度的影响是什么？
• RQ5 其他基于梯度的解释方法是否同样容易受到模型级操纵的影响？

主要发现

• 修改后的模型（T1–T4）在ILSVRC2012验证集上与原始网络的准确率几乎完全一致，所有变体的||yo − yn||∞ < 0.00001。
• 尽管模型输出变化极小，GradCAM解释仍可被操纵以匹配任意目标，所有操纵类型的||ĨT − Ĩn||1 < 0.01。
• 后门变体（T4）对干净输入生成正确解释，对触发器存在输入生成恶意解释，L1距离为0.00006。
• 本研究证明，GradCAM不满足实现不变性公理，因为相同预测在模型被操纵时不会产生相同解释。
• 结果表明，GradCAM依赖于未经验证的关于模型参数和结构的假设，因此易受对抗性模型篡改的影响。
• 作者建议，类似攻击可能也适用于其他基于梯度的解释方法，尤其是那些依赖于∂y/∂x的方法。