[论文解读] A Framework for Evaluation of Machine Reading Comprehension Gold Standards

Viktor Schlegel, Marco Valentino+3 more|arXiv (Cornell University)|Mar 10, 2020

Topic Modeling参考文献 42被引用 19

一句话总结

本文提出一个统一框架，通过分析语言复杂性、所需推理、背景知识、事实正确性以及词汇线索，系统性地评估机器阅读理解（MRC）黄金标准。该框架采用定性标注模式和近似度量指标，揭示现有MRC数据集普遍存在词汇歧义缺失、答案中存在事实不一致，且严重依赖表面词汇线索，从而损害了真正阅读理解评估的质量。

ABSTRACT

Machine Reading Comprehension (MRC) is the task of answering a question over a paragraph of text. While neural MRC systems gain popularity and achieve noticeable performance, issues are being raised with the methodology used to establish their performance, particularly concerning the data design of gold standards that are used to evaluate them. There is but a limited understanding of the challenges present in this data, which makes it hard to draw comparisons and formulate reliable hypotheses. As a first step towards alleviating the problem, this paper proposes a unifying framework to systematically investigate the present linguistic features, required reasoning and background knowledge and factual correctness on one hand, and the presence of lexical cues as a lower bound for the requirement of understanding on the other hand. We propose a qualitative annotation schema for the first and a set of approximative metrics for the latter. In a first application of the framework, we analyse modern MRC gold standards and present our findings: the absence of features that contribute towards lexical ambiguity, the varying factual correctness of the expected answers and the presence of lexical cues, all of which potentially lower the reading comprehension complexity and quality of the evaluation data.

研究动机与目标

• 为解决MRC黄金标准缺乏系统性评估的问题，而这些标准对于评估模型性能至关重要。
• 识别并分析现有MRC数据集中存在的缺陷，例如预期答案中的词汇线索和事实错误。
• 开发一个统一框架，以实现对MRC评估数据在语言特征、推理类型和知识需求方面的系统性比较。
• 通过区分深度理解与表层模式匹配，提升MRC评估的可靠性。
• 为未来研究构建更高品质、更具鲁棒性的MRC基准提供基础。

提出的方法

• 提出一种定性标注模式，用于对MRC黄金标准中的语言复杂性、所需推理、背景知识和事实正确性进行分类。
• 引入近似度量指标，以量化词汇线索（如关键词重叠和与答案的接近程度）的出现情况，这些线索可能使模型表现平庸。
• 将该框架应用于分析现代MRC数据集，包括HotpotQA和SQuAD，结合人工与自动化分析技术。
• 在标注过程中使用众包方式，并引入对抗性微调的预训练模型，以过滤掉可通过词汇匹配轻松回答的问题。
• 使用多段落示例（例如，马里埃塔空军站和斯米尔纳）说明词汇线索如何使问题变得过于简单。
• 根据问题是否需要推理、共指消解或事实回忆进行分类，并基于外部知识评估答案的正确性。

实验结果

研究问题

• RQ1 现有MRC黄金标准在多大程度上依赖词汇线索而非真正理解？
• RQ2 当前MRC数据集中预期答案的一致性和事实正确性如何？
• RQ3 MRC评估数据中实际存在的语言和推理复杂性是什么？
• RQ4 背景知识和歧义的存在如何影响MRC任务的难度？
• RQ5 能否通过统一框架系统性地评估并比较不同MRC黄金标准的质量？

主要发现

• 许多MRC数据集（包括HotpotQA）包含这样的问题：预期答案可通过问题和文本中唯一的关键词轻松定位，从而降低了对深度理解的需求。
• 黄金标准中的预期答案常常缺乏事实一致性，部分答案存在错误，或基于过时或模糊的信息。
• 问题和文本中明显缺乏词汇歧义，限制了模型解析模糊指代能力的评估。
• 该框架揭示，现代MRC数据集中相当大比例的问题可通过表面层次的词汇匹配解决，而非语义理解。
• 在标注过程中引入对抗性微调的预训练模型，成功过滤掉可通过简单关键词匹配回答的问题，从而提升了数据质量。
• 分析表明，当前评估数据往往无法衡量真正的阅读理解能力，因其偏向于模式匹配，且推理和知识需求不足。