[论文解读] Fooling Explanations in Text Classifiers

Adam Ivankay, I. Girardi+2 more|arXiv (Cornell University)|Jun 7, 2022

Explainable Artificial Intelligence (XAI)被引用 5

一句话总结

本文提出 TEXTEXTPLANATIONFOOLER (TEF)，一种黑盒对抗性攻击方法，通过生成难以察觉的文本扰动，大幅改变解释输出（如集成梯度生成的显著性图），同时在多个 NLP 模型和数据集上保持原始分类器预测不变。主要贡献在于揭示了文本分类器中解释方法的高度脆弱性，即使在无模型访问的半通用攻击设置下，TEF 仍可使归因相关性降低高达 0.75。

ABSTRACT

State-of-the-art text classification models are becoming increasingly reliant on deep neural networks (DNNs). Due to their black-box nature, faithful and robust explanation methods need to accompany classifiers for deployment in real-life scenarios. However, it has been shown in vision applications that explanation methods are susceptible to local, imperceptible perturbations that can significantly alter the explanations without changing the predicted classes. We show here that the existence of such perturbations extends to text classifiers as well. Specifically, we introduceTextExplanationFooler (TEF), a novel explanation attack algorithm that alters text input samples imperceptibly so that the outcome of widely-used explanation methods changes considerably while leaving classifier predictions unchanged. We evaluate the performance of the attribution robustness estimation performance in TEF on five sequence classification datasets, utilizing three DNN architectures and three transformer architectures for each dataset. TEF can significantly decrease the correlation between unchanged and perturbed input attributions, which shows that all models and explanation methods are susceptible to TEF perturbations. Moreover, we evaluate how the perturbations transfer to other model architectures and attribution methods, and show that TEF perturbations are also effective in scenarios where the target model and explanation method are unknown. Finally, we introduce a semi-universal attack that is able to compute fast, computationally light perturbations with no knowledge of the attacked classifier nor explanation method. Overall, our work shows that explanations in text classifiers are very fragile and users need to carefully address their robustness before relying on them in critical applications.

研究动机与目标

• 揭示文本分类器中解释方法对微小、难以察觉的输入扰动的脆弱性。
• 开发一种黑盒攻击 TEXTEXTPLANATIONFOOLER (TEF)，在不改变分类器预测的前提下操纵解释输出。
• 评估不同数据集、模型和解释技术下归因方法的鲁棒性。
• 展示 TEF 扰动在未知模型和解释方法之间的可迁移性。
• 提出半通用攻击策略，实现在无需查询目标模型的情况下快速、无查询地操纵解释。

提出的方法

• TEF 通过优化词语替换，形成一种针对解释方法的黑盒对抗性攻击，以最小化归因相关性，同时保持分类器置信度。
• 该攻击采用基于同义词替换和嵌入相似度的无梯度优化策略，生成难以察觉的扰动。
• 对于每个输入，TEF 计算能使原始归因图与扰动后归因图之间的皮尔逊相关系数 (PCC) 最大程度下降的扰动。
• 通过聚合数据集子集上 TEF 优化扰动中频繁出现的替换，构建半通用攻击策略，实现在攻击时快速、预计算的攻击。
• 该方法使用原始归因与扰动后归因之间的 PCC 评估鲁棒性，PCC 值越低表示解释脆弱性越高。
• 实验在五个文本分类数据集上进行，使用三种深度神经网络和三种 Transformer 架构，结合三种解释方法（如集成梯度）。

实验结果

研究问题

• RQ1 难以察觉的文本扰动能否在保持分类器预测不变的前提下显著改变解释输出？
• RQ2 在不同模型和数据集上，各种解释方法在该类攻击下的鲁棒性如何？
• RQ3 TEF 扰动在未知模型和解释方法之间可迁移的程度如何？
• RQ4 能否构建出在攻击时无需查询目标模型即可改变解释的半通用攻击策略？
• RQ5 与随机攻击或基线攻击相比，TEF 导致的归因鲁棒性退化程度如何？

主要发现

• TEF 显著降低了归因相关性，PCC 在多个设置下降至 0.2 以下，证明其在扭曲解释方面具有高度有效性。
• 平均而言，与原始归因相比，TEF 使 PCC 最多降低 0.75，表明所有测试模型和数据集中的解释均高度脆弱。
• 该攻击可有效迁移至未见过的模型和解释方法，表明 NLP 解释领域存在广泛脆弱性。
• 半通用攻击策略在无需模型查询的情况下达到与 TEF 相当的性能，证明其实际可行性与鲁棒性。
• 随机攻击基线性能显著劣于 TEF，证实观察到的退化是由有针对性的扰动引起，而非随机噪声。
• 在全部五个数据集（AG’s News、IMDB、MR、Rotten Tomatoes、Yelp）中，TEF 均持续降低归因保真度，凸显当前解释方法存在系统性脆弱性。