[论文解读] Are Interpretations Fairly Evaluated? A Definition Driven Pipeline for Post-Hoc Interpretability

Ninghao Liu, Yunsong Meng+3 more|arXiv (Cornell University)|Sep 16, 2020

Explainable Artificial Intelligence (XAI)参考文献 38被引用 4

一句话总结

本文提出一种定义驱动流水线（DDP）用于自然语言处理中的事后可解释性，通过对抗性扰动定义解释，以确保解释算法与评估指标之间的一致性。研究表明，度量偏差会扭曲忠实度评估，并证明DDP能够统一现有方法，同时通过对抗性训练实现与人类推理的更好对齐。

ABSTRACT

Recent years have witnessed an increasing number of interpretation methods being developed for improving transparency of NLP models. Meanwhile, researchers also try to answer the question that whether the obtained interpretation is faithful in explaining mechanisms behind model prediction? Specifically, (Jain and Wallace, 2019) proposes that "attention is not explanation" by comparing attention interpretation with gradient alternatives. However, it raises a new question that can we safely pick one interpretation method as the ground-truth? If not, on what basis can we compare different interpretation methods? In this work, we propose that it is crucial to have a concrete definition of interpretation before we could evaluate faithfulness of an interpretation. The definition will affect both the algorithm to obtain interpretation and, more importantly, the metric used in evaluation. Through both theoretical and experimental analysis, we find that although interpretation methods perform differently under a certain evaluation metric, such a difference may not result from interpretation quality or faithfulness, but rather the inherent bias of the evaluation metric.

研究动机与目标

• 解决自然语言处理中事后解释方法缺乏一致评估标准的问题。
• 识别并缓解现有评估度量中固有的偏差，这些偏差会扭曲忠实度评估。
• 基于对抗性攻击，将多种解释方法统一于单一、有原则的定义之下。
• 通过对抗性训练，系统性地提升模型解释与人类指定推理之间的一致性。
• 为开发和评估忠实、基于定义的解释方法提供系统性框架。

提出的方法

• 将解释定义为使模型预测发生变化所需的最小扰动，以对抗性攻击作为核心定义。
• 在特定约束下，将现有解释方法（如基于梯度、注意力的方法）推导为DDP框架的特例。
• 制定一种与定义内在一致的忠实度度量，确保评估的公平性。
• 引入再训练策略，利用CSA度量作为监督信号，优化解释以与人类标注的推理对齐。
• 在多个模型（LSTM、BERT、LSTM_att）和数据集（SST-2、Yelp、AGNews）上应用DDP框架，验证其一致性和公平性。
• 使用固定epsilon的对抗性训练生成扰动，并将重要性分数计算为||x^n - x^{*n}||_2。

实验结果

研究问题

• RQ1 是否可以通过统一的解释定义解决不同方法在忠实度评估中的一致性问题？
• RQ2 评估度量在多大程度上引入偏差，从而扭曲解释方法的性能表现？
• RQ3 如何系统性地将解释与模型解释中的人类指定推理对齐？
• RQ4 像注意力和梯度这类常用解释方法是否真正忠实，还是其评估因度量设计而产生偏差？
• RQ5 对抗性扰动能否作为自然语言处理中事后解释的有原则且通用的定义？

主要发现

• 解释方法的忠实度对评估度量的选择极为敏感，性能差异显著，但并非源于方法质量，而是由度量偏差引起。
• 许多现有解释方法（包括Integrated Gradient和SmoothGrad）在特定约束下在数学上等价于DDP框架，证明了它们在单一定义下的统一性。
• 使用人类标注推理进行对抗性训练，可提升模型解释与人类认知之间的一致性，使SST-2上的相似度从0.48提升至0.72。
• 在Yelp数据集上，基于DDP的评估显示，VaGrad和SmoothGrad在CSA度量下表现优于其他方法，而其在ERA和MMA度量下的排名则发生变化，凸显了度量依赖性。
• Jain和Wallace（2019）提出的忠实度两个属性并非普遍有效——它们依赖于解释的底层定义，而DDP对此进行了形式化。
• 对抗性再训练后模型准确率略有下降（例如SST-2上从0.81降至0.791），证实了对抗性训练中鲁棒性与准确率之间的已知权衡。