[论文解读] Evaluating Explanations for Reading Comprehension with Realistic Counterfactuals.

Xi Ye, Rohan Nair+1 more|arXiv (Cornell University)|Apr 9, 2021

Explainable Artificial Intelligence (XAI)参考文献 55被引用 7

一句话总结

本文提出了一种方法，通过在现实的反事实输入情景下测试解释如何反映模型行为，来评估机器阅读理解（MRC）中的解释。研究发现，成对解释技术优于标记级归因方法，后者通常不够忠实；同时，改进了基于注意力的解释方法，使其更能揭示模型行为。

ABSTRACT

Token-level attributions have been extensively studied to explain model predictions for a wide range of classification tasks in NLP (e.g., sentiment analysis), but such explanation techniques are less explored for machine reading comprehension (RC) tasks. Although the transformer-based models used here are identical to those used for classification, the underlying reasoning these models perform is very different and different types of explanations are required. We propose a methodology to evaluate explanations: an explanation should allow us to understand the RC model's high-level behavior with respect to a set of realistic counterfactual input scenarios. We define these counterfactuals for several RC settings, and by connecting explanation techniques' outputs to high-level model behavior, we can evaluate how useful different explanations really are. Our analysis suggests that pairwise explanation techniques are better suited to RC than token-level attributions, which are often unfaithful in the scenarios we consider. We additionally propose an improvement to an attention-based attribution technique, resulting in explanations which better reveal the model's behavior.

研究动机与目标

• 为解决机器阅读理解（MRC）中解释技术缺乏评估框架的问题，因为MRC中的推理与分类任务存在根本性差异。
• 定义反映MRC设置中高层模型行为的现实反事实输入情景。
• 通过将解释输出与这些反事实情景下的模型行为关联，评估解释技术的忠实度和实用性。
• 识别出最能捕捉MRC模型推理过程的解释技术。

提出的方法

• 为多种MRC设置定义现实的反事实输入情景，以测试模型在扰动下的行为。
• 利用反事实情景评估解释技术，通过测量其输出与高层模型行为的一致性。
• 在忠实度和可解释性方面，对比标记级归因与成对解释技术在反事实情景下的表现。
• 提出一种改进的基于注意力的归因方法，通过优化注意力加权机制，使其更能揭示模型行为。
• 分析反事实输入下解释输出与模型预测之间的关系，以评估解释质量。

实验结果

研究问题

• RQ1 在MRC中，标记级归因方法在现实反事实输入下的表现如何反映模型行为？
• RQ2 在MRC任务中，成对解释技术是否比标记级归因提供更忠实的解释？
• RQ3 基于注意力的解释方法能否改进，以更好地揭示MRC中的模型推理？
• RQ4 在反事实情景下评估高层模型行为时，不同解释技术的表现如何？
• RQ5 哪些类型的反事实输入扰动最能暴露现有解释技术在MRC中的局限性？

主要发现

• 在现实反事实情景下，成对解释技术比标记级归因更能忠实反映模型行为。
• 标记级归因通常无法反映实际的模型推理，其在反事实评估中表现出较低的忠实度。
• 所提出的基于注意力归因方法的改进，使解释结果与高层模型行为更加一致。
• 基于反事实的评估表明，许多现有解释技术无法可靠地反映MRC中的模型决策。
• 本研究证明，解释质量不能孤立评估，而必须在输入扰动下的行为表现中进行评估。