[论文解读] A Survey of Machine Narrative Reading Comprehension Assessments

Yisi Sang, Xiangyang Mou+3 more|arXiv (Cornell University)|Apr 30, 2022

Topic Modeling被引用 5

一句话总结

本文提出了一种用于机器叙事阅读理解（MRC）评估的二维分类体系，根据叙事表征的范围（局部 vs. 全局）以及提取的叙事元素程度（如角色、事件、意图）对任务进行区分。该研究基于认知理论与叙事理论整合现有基准数据集，揭示了当前评估在叙事理解方面的不足，特别是对语用推理和叙事元素联合理解的评估缺失，并呼吁设计更细致、具备全局意识的任务，以推动自然语言处理中叙事理解的发展。

ABSTRACT

As the body of research on machine narrative comprehension grows, there is a critical need for consideration of performance assessment strategies as well as the depth and scope of different benchmark tasks. Based on narrative theories, reading comprehension theories, as well as existing machine narrative reading comprehension tasks and datasets, we propose a typology that captures the main similarities and differences among assessment tasks; and discuss the implications of our typology for new task design and the challenges of narrative reading comprehension.

研究动机与目标

• 解决现有MRC基准中叙事文本与说明性文本理解之间缺乏区分的问题。
• 识别并阐明评估机器叙事阅读理解时的独特挑战，特别是理解的广度与深度。
• 基于叙事理论与认知科学提出一个统一的分类体系，用于对现有评估任务进行分类。
• 突出叙事理解中尚未充分探索的维度，例如语用推理和叙事元素的联合理解。
• 通过强调超越局部事实抽取的全局性、推理丰富的评估需求，为未来任务设计提供指导。

提出的方法

• 基于（1）叙事表征的范围（局部 vs. 全局）和（2）提取的叙事元素程度（如角色、事件、意图）构建二维分类体系。
• 将现有叙事MRC数据集与任务映射到所提出的分类体系中，以揭示其结构与概念上的差异。
• 借鉴叙事理论（如故事语法、心智理论）与理解的认知理论，为分类体系提供既有理论基础的支撑。
• 分析现有基准在理解范围、推理类型与元素覆盖范围方面的一致性问题，尤其关注语用推理与叙事元素联合理解的缺失。
• 利用理论基础识别缺失的评估维度，例如说话者意图与叙事视角。
• 提出未来任务的设计原则，强调全局连贯性、语用推理与多元素整合能力。

实验结果

研究问题

• RQ1 当前的机器叙事阅读理解任务在叙事理解的广度与深度方面有何不同？
• RQ2 在表征与推理方面，区分叙事理解评估的关键维度是什么？
• RQ3 为何现有基准未能充分评估语用推理与叙事元素的联合理解？
• RQ4 叙事理论与认知科学如何能指导设计更有效、更全面的MRC评估任务？
• RQ5 当前叙事理解评估策略的主要空白是什么，应如何弥补？

主要发现

• 所提出的分类体系能有效沿两个维度对现有叙事MRC任务进行分类：局部与全局叙事表征，以及提取的叙事元素程度。
• 许多现有基准将叙事元素孤立评估，通常依赖局部命题推理，而全局推理与语用推理仍显著不足。
• 角色名称关联与角色识别虽均以角色为中心，但在所需推理类型与作用范围上存在显著差异，凸显了更细粒度任务分类的必要性。
• 对叙事元素（如角色与事件）的联合理解对故事推进至关重要，但在当前基准中极少被共同评估。
• 语用推理，尤其是涉及说话者意图与社会常识的部分，尽管在叙事理解中至关重要，却仍严重不足。
• 本综述识别出对更复杂、具备全局意识的任务的迫切需求，要求模型整合多个叙事元素并进行超越表层事实的深度推理。