[论文解读] A Survey on Machine Reading Comprehension: Tasks, Evaluation Metrics and Benchmark Datasets

Changchang Zeng, Shaobo Li+3 more|arXiv (Cornell University)|Jun 21, 2020

Topic Modeling参考文献 104被引用 9

一句话总结

本文对机器阅读理解（MRC）进行了全面综述，提出了针对57个MRC任务的新型四维分类法，总结了9种评估指标和10种MRC数据集的特征，并识别出关键开放问题与未来研究方向。作者创建并维护了一个公开可访问的知识库（https://mrc-datasets.github.io/），为MRC社区提供数据集、论文、基线模型和排行榜支持，推动实现MRC的人类水平理解。

ABSTRACT

Machine Reading Comprehension (MRC) is a challenging Natural Language Processing(NLP) research field with wide real-world applications. The great progress of this field in recent years is mainly due to the emergence of large-scale datasets and deep learning. At present, a lot of MRC models have already surpassed human performance on various benchmark datasets despite the obvious giant gap between existing MRC models and genuine human-level reading comprehension. This shows the need for improving existing datasets, evaluation metrics, and models to move current MRC models toward "real" understanding. To address the current lack of comprehensive survey of existing MRC tasks, evaluation metrics, and datasets, herein, (1) we analyze 57 MRC tasks and datasets and propose a more precise classification method of MRC tasks with 4 different attributes; (2) we summarized 9 evaluation metrics of MRC tasks, 7 attributes and 10 characteristics of MRC datasets; (3) We also discuss key open issues in MRC research and highlighted future research directions. In addition, we have collected, organized, and published our data on the companion website(https://mrc-datasets.github.io/) where MRC researchers could directly access each MRC dataset, papers, baseline projects, and the leaderboard.

研究动机与目标

• 为解决MRC任务、评估指标和基准数据集缺乏全面综述的问题。
• 基于四个不同维度，提出一种改进的MRC任务分类方法。
• 系统总结9种评估指标和10种MRC数据集的关键特征。
• 识别MRC中的开放问题，并提出未来研究方向，特别是实现人类水平理解的目标。
• 创建并维护一个公开可访问的知识库，包含数据集、论文、基线模型和排行榜，以支持MRC研究社区。

提出的方法

• 作者分析了57个MRC任务和数据集，基于四个属性（任务类型、答案类型、输入格式和推理层级）提出了新的分类体系。
• 对MRC中使用的9种评估指标进行了分类与总结，并分析了其在不同类型任务中的适用性。
• 研究识别并描述了MRC数据集的10项关键特征，包括规模、领域、标注质量及推理复杂度。
• 作者通过系统性文献回顾，收集并整理了2013至2020年间MRC数据集、论文和基线模型。
• 开发并维护了一个配套网站（https://mrc-datasets.github.io/），用于托管整理后的数据集、论文、基线实现和排行榜。
• 研究整合了认知神经科学的见解，以指导未来MRC模型设计，尤其关注多模态与类人理解能力。

实验结果

研究问题

• RQ1 区分MRC任务的关键维度是什么？如何实现系统性分类？
• RQ2 针对不同类型MRC任务，哪些评估指标最为合适？它们如何反映模型性能？
• RQ3 高质量MRC数据集的定义特征是什么？它们如何影响模型开发？
• RQ4 在实现人类水平机器阅读理解方面，主要的开放挑战是什么？
• RQ5 认知神经科学的研究发现如何为设计更稳健、类人化的MRC系统提供指导？

主要发现

• 作者提出了一个新型四维分类框架，为MRC任务的分类提供了更精确、系统化的方法。
• 识别出9种在MRC任务中广泛使用的评估指标，其适用性因答案类型和任务复杂度而异。
• 研究揭示了MRC数据集的10项关键特征，包括规模、领域多样性、标注质量及推理深度，这些特征显著影响模型性能与泛化能力。
• 尽管最先进模型在部分基准数据集上已超越人类表现，但在实现真正的人类水平理解方面仍存在显著差距。
• 作者强调，需要高质量的多模态MRC数据集，并整合认知神经科学的洞见，以推动实现人类水平理解。
• 配套网站（https://mrc-datasets.github.io/）已成功建立为MRC社区的中心化、可访问且持续更新的资源平台，集成了数据集、论文、基线模型和排行榜。