[论文解读] A Corpus and Evaluation Framework for Deeper Understanding of Commonsense Stories

Nasrin Mostafazadeh, Nathanael Chambers+6 more|arXiv (Cornell University)|Apr 6, 2016

Topic Modeling参考文献 26被引用 97

一句话总结

本文提出了ROCStories，一个包含50,000个五句话的常识性故事的高质量语料库，并提出了故事完型测试（Story Cloze Test）作为评估深层语言理解的新框架。该框架要求模型从两个选项中选择正确的故事情节结尾，揭示即使基于浅层表征的最先进模型也表现不佳，凸显了对因果和时间事件关系进行更丰富语义建模的必要性。

ABSTRACT

Representation and learning of commonsense knowledge is one of the foundational problems in the quest to enable deep language understanding. This issue is particularly challenging for understanding casual and correlational relationships between events. While this topic has received a lot of interest in the NLP community, research has been hindered by the lack of a proper evaluation framework. This paper attempts to address this problem with a new framework for evaluating story understanding and script learning: the 'Story Cloze Test'. This test requires a system to choose the correct ending to a four-sentence story. We created a new corpus of ~50k five-sentence commonsense stories, ROCStories, to enable this evaluation. This corpus is unique in two ways: (1) it captures a rich set of causal and temporal commonsense relations between daily events, and (2) it is a high quality collection of everyday life stories that can also be used for story generation. Experimental evaluation shows that a host of baselines and state-of-the-art models based on shallow language understanding struggle to achieve a high score on the Story Cloze Test. We discuss these implications for script and story learning, and offer suggestions for deeper language understanding.

研究动机与目标

• 为解决常识性故事理解与脚本学习缺乏系统性评估框架的问题。
• 创建一个高质量、众包生成的五句话常识性故事语料库，其中包含丰富的因果和时间关系。
• 提出故事完型测试作为比以往叙事完型测试更稳健的基准，聚焦于完整句子补全而非事件预测。
• 在该新基准上评估各种模型（包括神经网络和基于检索的方法）的有效性，以识别当前方法的局限性。
• 通过展示即使最先进模型的表现仅略高于随机基线，来推动开发具备更深层次语义理解能力的模型。

提出的方法

• ROCStories语料库通过众包方式收集，使用精心设计的提示，以激发围绕日常事件、具有清晰因果和时间结构的五句话故事。
• 每则故事均经过多轮质量控制，包括由人工标注者进行双重验证，以确保连贯性和常识性合理性。
• 故事完型测试格式要求从两个选项中选择正确的结尾句子，正确结尾需与前四句话保持因果和时间上的连贯性。
• 共创建了3,742个经验证的故事完型测试案例，人类验证的黄金标签确保了高可靠性。
• 评估了多种基线模型，包括基于频率、n-gram、情感分析、Skip-Thought、叙事链以及深度神经网络模型（如DSSM），所有模型均在ROCStories语料库上训练或微调。
• DSSM模型通过深度神经网络将上下文和候选结尾映射到共享向量空间，并使用余弦相似度进行匹配，其在测试集上达到最高准确率（51.0%），仍仅略高于固定选择第一个选项的基线（51.3%）。

实验结果

研究问题

• RQ1 基于完整句子补全的新型评估框架，是否能比叙事完型任务中的事件预测更有效地评估深层常识理解？
• RQ2 当前基于浅层语言特征的最先进模型，在多大程度上无法泛化到未见过的常识性故事情节结构？
• RQ3 大规模、高质量、众包生成的五句话常识性故事语料库，在实现故事理解系统稳健评估方面有多有效？
• RQ4 需要何种语义表征才能在故事补全任务上实现显著高于随机基线的性能？
• RQ5 故事完型测试是否能有效区分真正学习常识推理的模型与仅利用数据中表面模式的模型？

主要发现

• 要求选择正确完整句子结尾的故事完型测试，比以往的叙事完型测试更具挑战性，所有测试模型的表现仅略高于50%的随机基线。
• 表现最佳的模型——深度结构化语义模型（DSSM）——在测试集上达到51.0%的准确率，仅比固定选择第一个选项的基线高0.7个百分点，表明在深层理解方面进展有限。
• 基于事件级表征的模型（如叙事链）表现较差（测试集准确率为47.8%），因为它们无法捕捉超越动词和句法角色的复杂事件语义。
• 结果表明，当前依赖浅层语言特征的模型无法充分建模故事中的因果和时间连贯性，凸显了对更丰富语义表征的迫切需求。
• 人类在该测试集上的表现达到100%，证实了数据集的高质量和非平凡性，验证了其作为深层语言理解基准的适用性。
• 本研究表明，以往的叙事完型测试可能促使模型利用表面模式而非学习真正的常识知识，呼吁向更稳健的评估框架（如故事完型测试）转变。