[论文解读] A Survey on Explainability in Machine Reading Comprehension

Mokanarangan Thayaparan, Marco Valentino+1 more|arXiv (Cornell University)|Oct 1, 2020

Topic Modeling参考文献 117被引用 32

一句话总结

本论文系统性地综述了机器阅读理解（MRC）中可解释性的基准和架构，详细介绍了基于知识的解释和操作性解释、基准、评估指标，以及尚待解决的研究问题。

ABSTRACT

This paper presents a systematic review of benchmarks and approaches for explainability in Machine Reading Comprehension (MRC). We present how the representation and inference challenges evolved and the steps which were taken to tackle these challenges. We also present the evaluation methodologies to assess the performance of explainable systems. In addition, we identify persisting open research questions and highlight critical directions for future work.

研究动机与目标

• 在 MRC 的情境中定义可解释性，并说明其对评估、泛化和可解释性的重要性。
• 编目可解释性基准，并按任务领域、格式、MRC 类型及解释特征对它们进行分类。
• 将可解释 MRC 的架构方法分为基于知识、操作性和混合三类，并分析它们的学习范式。
• 讨论可解释性的评估指标，并指出对可解释 MRC 进行基准测试时的挑战。
• 概述推进可解释 MRC 的开放研究问题与未来方向。

提出的方法

• 自 2015 年起，在 AI/NLP 领域的场景中对 MRC 的可解释性进行系统性综述。
• 按领域、格式、MRC 类型、多跳、解释类型和表示等维度对基准进行分类。
• 用于解释生成的架构模式分类法，包括基于知识、潜在/神经和混合模型。
• 对评估方法学以及用于训练的 silver explanations 概念进行分析。
• 讨论包括对比性解释和解释的可信度等开放研究问题。

实验结果

研究问题

• RQ1 用于开发和评估可解释 MRC 模型的主要基准和数据集有哪些？
• RQ2 在 MRC 中用于生成和整合解释的架构模式有哪些？它们在抽取式与抽象式任务中有何不同？
• RQ3 在 MRC 中如何评估可解释性？在基准测试解释方面存在哪些指标与挑战？
• RQ4 当前可解释 MRC 研究的局限性和待解的开放问题有哪些？未来工作的方向有哪些建议？

主要发现

• 在 MRC 中，可解释性通过两大解释类型来实现：基于知识的解释和操作性解释，并且对抽象推理的关注日益增加。
• 可解释 MRC 的基准越来越多地包含多跳推理和显式的解释信号，包括跨开域、科学和常识领域的抽取式与抽象式任务。
• 架构趋势显示向监督神经方法在可解释性方面的转变，越来越多地使用 Transformer 和图网络来建模解释相关性。
• 对可解释性的评估结合了精确匹配、F1、排序指标和语言生成指标，并对解释的忠实性和质量存在担忧。
• 最近的研究引入了数据集和方法论创新，例如问题分解、显式推理链和神经符号方法，以提高可解释性和泛化能力。
• 本文指出开放问题，包括对比性解释的需求以及解释的改进忠实性。