[论文解读] ESTER: A Machine Reading Comprehension Dataset for Event Semantic Relation Reasoning

Rujun Han, I-Hung Hsu+5 more|arXiv (Cornell University)|Apr 16, 2021

Topic Modeling参考文献 24被引用 6

一句话总结

ESTER 是一个新颖的机器阅读理解数据集，旨在通过需要完整、有意义事件片段作为答案的自然语言问题，对五种核心事件语义关系——因果、子事件、指代、条件和反事实——进行推理。该数据集包含超过 6,000 个问题和 10,100 对事件关系，显示出当前最先进模型（EM：22.1%）与人类表现（36.0%）之间显著的性能差距，确立了其作为事件中心叙事理解的挑战性基准的地位。

ABSTRACT

Understanding how events are semantically related to each other is the essence of reading comprehension. Recent event-centric reading comprehension datasets focus mostly on event arguments or temporal relations. While these tasks partially evaluate machines' ability of narrative understanding, human-like reading comprehension requires the capability to process event-based information beyond arguments and temporal reasoning. For example, to understand causality between events, we need to infer motivation or purpose; to establish event hierarchy, we need to understand the composition of events. To facilitate these tasks, we introduce ESTER, a comprehensive machine reading comprehension (MRC) dataset for Event Semantic Relation Reasoning. The dataset leverages natural language queries to reason about the five most common event semantic relations, provides more than 6K questions and captures 10.1K event relation pairs. Experimental results show that the current SOTA systems achieve 22.1%, 63.3%, and 83.5% for token-based exact-match, F1, and event-based HIT@1 scores, which are all significantly below human performances (36.0%, 79.6%, 100% respectively), highlighting our dataset as a challenging benchmark.

研究动机与目标

• 为解决在时间关系和论元角色之外的多样化事件语义关系推理缺乏综合性数据集的问题。
• 通过自然语言问题而非刚性三元组关系抽取方式，建模事件关系，以改进机器阅读理解。
• 通过要求完整连贯的事件片段作为答案，评估模型预测的鲁棒性和完整性。
• 凸显当前最先进模型在捕捉叙事中细微语义关系方面的局限性。

提出的方法

• 使用自然语言问题来查询五类事件语义关系：因果、子事件、指代、条件和反事实。
• 每个问题基于一个叙事段落，要求从段落中提取完整且有意义的文本片段作为答案，以确保语义连贯性。
• 采用两阶段标注流程并经专家验证，确保高质量、全面的答案集合，包括复杂关系的多个有效答案。
• 该任务被构建成一个生成式问答基准，支持对全部五类关系类型的联合建模。
• 使用多种指标评估模型：基于词元的精确匹配（EM）、F1 和基于事件的 HIT@1，以评估答案的完整性和准确性。
• 在抽取式和生成式 QA 设置之间进行对比实验，以分析模型行为及其局限性。

实验结果

研究问题

• RQ1 在 ESTER 上训练的模型能否准确识别并生成多样语义关系（如因果关系和子事件组合）的完整、有意义的事件片段？
• RQ2 抽取式和生成式 QA 方法在生成事件语义关系的连贯且完整答案方面的能力有何差异？
• RQ3 当前最先进模型在推理叙事中复杂事件关系方面与人类水平表现的差距有多大？
• RQ4 答案完整性对模型性能有何影响？增加有效答案的数量是否能提升模型的泛化能力？
• RQ5 问题中的文本线索（如“为什么”、“包括什么”）如何影响模型推理和答案质量？

主要发现

• 最先进模型在 ESTER 上的词元精确匹配（EM）仅为 22.1%，F1 为 63.3%，基于事件的 HIT@1 为 83.5%，显著低于人类表现（分别为 36.0%、79.6% 和 100%）。
• 抽取式 QA 模型在 F1 上表现良好，能识别部分或重叠的词元，但在 EM 和 HIT@1 上表现不佳，表明其在生成完整且有意义的答案方面能力薄弱。
• 生成式 QA 模型即使答案错误，也能生成更连贯且完整的答案片段，而抽取式模型常预测出断开或无意义的词元。
• 通过验证增加标注答案数量并未提升模型性能，表明标注质量和模型泛化能力之间存在脱节。
• McNemar 检验确认模型间性能差异具有统计显著性，验证了评估协议的稳健性。
• 结果表明，当前模型在事件语义关系推理方面缺乏稳健的推理能力，凸显了 ESTER 作为未来研究挑战性基准的重要作用。