[论文解读] Foiling Explanations in Deep Neural Networks

Snir Vitrack Tamam, Raz Lapid+1 more|arXiv (Cornell University)|Nov 27, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出 AttaXAI，一种黑箱对抗攻击方法，仅通过模型的输出logits和解释图反馈，无需梯度或模型内部结构信息，即可操纵深度神经网络中的解释图。该方法能以极小且人眼难以察觉的输入扰动，成功将解释图重定向至任意目标图，表明即使在真实世界、数据受限的场景下，XAI方法也极易受到操纵。

ABSTRACT

Deep neural networks (DNNs) have greatly impacted numerous fields over the past decade. Yet despite exhibiting superb performance over many problems, their black-box nature still poses a significant challenge with respect to explainability. Indeed, explainable artificial intelligence (XAI) is crucial in several fields, wherein the answer alone -- sans a reasoning of how said answer was derived -- is of little value. This paper uncovers a troubling property of explanation methods for image-based DNNs: by making small visual changes to the input image -- hardly influencing the network's output -- we demonstrate how explanations may be arbitrarily manipulated through the use of evolution strategies. Our novel algorithm, AttaXAI, a model-agnostic, adversarial attack on XAI algorithms, only requires access to the output logits of a classifier and to the explanation map; these weak assumptions render our approach highly useful where real-world models and data are concerned. We compare our method's performance on two benchmark datasets -- CIFAR100 and ImageNet -- using four different pretrained deep-learning models: VGG16-CIFAR100, VGG16-ImageNet, MobileNet-CIFAR100, and Inception-v3-ImageNet. We find that the XAI methods can be manipulated without the use of gradients or other model internals. Our novel algorithm is successfully able to manipulate an image in a manner imperceptible to the human eye, such that the XAI method outputs a specific explanation map. To our knowledge, this is the first such method in a black-box setting, and we believe it has significant value where explainability is desired, required, or legally mandatory.

研究动机与目标

• 研究在无法访问模型内部结构的真实黑箱场景下，可解释人工智能（XAI）方法对对抗性操纵的脆弱性。
• 开发一种实用的攻击方法，可在保持原始模型分类输出不变的前提下，将解释图重定向至任意目标图。
• 评估不同XAI技术在该类攻击下的鲁棒性，尤其关注基于梯度与非基于梯度的方法之间的差异。
• 证明即使微小且人眼难以察觉的扰动，也能彻底改变解释图，从而削弱XAI在安全关键应用中可信度。

提出的方法

• AttaXAI采用进化策略，通过仅使用模型输出logits和解释图作为反馈，迭代优化能够将解释图重定向至目标图的输入扰动。
• 该攻击在黑箱威胁模型下运行，无需访问模型权重、梯度或架构信息，仅需最终分类概率和解释图。
• 通过基于种群的优化过程生成并优化扰动，其中适应度基于生成的解释图与目标图之间的L2距离进行评估。
• 通过限制扰动幅度，确保对输出logits的影响极小，从而保持模型原始预测不变。
• 该方法与XAI技术无关，意味着其可适用于不同解释技术（如Grad-CAM、LRP、Guided Backpropagation）而无需针对每种方法进行调整。
• 实验在CIFAR100和ImageNet数据集上使用VGG16、MobileNet和Inception-v3模型进行，查询预算设为50,000，以平衡有效性与计算成本。

实验结果

研究问题

• RQ1 在无法访问模型梯度或内部参数的情况下，是否能够将深度神经网络中的解释图操纵至任意目标？
• RQ2 仅依赖logits和解释输出的黑箱攻击，在将解释图重定向至期望模式方面有多高效？
• RQ3 哪些XAI方法对这种对抗性操纵最脆弱或最鲁棒，原因是什么？
• RQ4 在保持对解释图完全控制的前提下，扰动能在多大程度上实现人眼不可察觉？
• RQ5 该攻击是否可泛化至不同模型和数据集，而无需进行模型特异性调优？

主要发现

• AttaXAI在所有测试模型和数据集中均以高保真度成功将解释图操纵至目标图，即使扰动极小。
• 该攻击几乎完全保持了原始模型的预测结果，输出logits与原始结果几乎完全一致，证实模型决策在解释图被操纵时未发生改变。
• 基于梯度的XAI方法（如Gradient、Grad-CAM）对攻击的鲁棒性最差，而Guided Backpropagation对攻击的鲁棒性最强。
• 该方法在CIFAR100和ImageNet上均实现了高成功率，表明其在不同架构和数据分布下具有良好的泛化能力。
• 该攻击仅需50,000次查询即可实现高成功率，表明在中等计算成本下即可实现有效操纵。
• 结果揭示了XAI系统中的根本性漏洞：解释图可在不改变模型预测的前提下被伪造，从而严重削弱基于XAI的决策审计与防御机制的信任基础。