[论文解读] Constructing Narrative Event Evolutionary Graph for Script Event Prediction

Zhongyang Li, Xiao Ding+1 more|arXiv (Cornell University)|May 14, 2018

Topic Modeling参考文献 16被引用 30

一句话总结

本文提出一种叙事事件演化图（NEEG），通过建模密集的事件连接关系来增强剧本事件预测，采用一种仅在局部子图上处理的缩放图神经网络（SGNN），以实现可扩展性。该方法在NYT语料库上显著优于先前基于事件对或事件链的模型，表明图结构知识能提升预测的准确性和鲁棒性。

ABSTRACT

Script event prediction requires a model to predict the subsequent event given an existing event context. Previous models based on event pairs or event chains cannot make full use of dense event connections, which may limit their capability of event prediction. To remedy this, we propose constructing an event graph to better utilize the event network information for script event prediction. In particular, we first extract narrative event chains from large quantities of news corpus, and then construct a narrative event evolutionary graph (NEEG) based on the extracted chains. NEEG can be seen as a knowledge base that describes event evolutionary principles and patterns. To solve the inference problem on NEEG, we present a scaled graph neural network (SGNN) to model event interactions and learn better event representations. Instead of computing the representations on the whole graph, SGNN processes only the concerned nodes each time, which makes our model feasible to large-scale graphs. By comparing the similarity between input context event representations and candidate event representations, we can choose the most reasonable subsequent event. Experimental results on widely used New York Times corpus demonstrate that our model significantly outperforms state-of-the-art baseline methods, by using standard multiple choice narrative cloze evaluation.

研究动机与目标

• 为解决现有剧本事件预测模型依赖稀疏事件对或事件链的局限性，这些方法无法充分利用密集的事件网络连接关系。
• 从大规模新闻语料中构建叙事事件演化图（NEEG），以捕捉抽象的事件演化模式与规律。
• 设计一种可扩展的推理机制，用于大规模事件图，克服传统图神经网络在密集有向图上计算不可行的问题。
• 通过利用捕捉事件间丰富结构与关系信息的网络嵌入，提升剧本事件预测的准确率与鲁棒性。

提出的方法

• 从大规模新闻语料中提取叙事事件链，以识别时间上与因果上相关的事件序列。
• 构建叙事事件演化图（NEEG），其中节点代表事件，边代表事件之间的时序或因果关系。
• 提出一种缩放图神经网络（SGNN），仅在包含上下文与候选事件的子图上执行消息传递，从而实现在大规模图上的高效推理。
• 在SGNN中使用门控循环单元（GRUs）来建模事件交互，并基于局部邻域信息迭代更新节点表征。
• 通过计算输入上下文表征与候选事件表征之间的相似度，选择最可能的后续事件。
• 在《纽约时报》语料库上采用多选叙事填空评估设置，端到端训练模型。

实验结果

研究问题

• RQ1 通过图结构建模密集事件连接关系，是否能超越事件对或事件链，在剧本事件预测上取得更好效果？
• RQ2 如何从大规模、有向且可能含环的事件图中有效学习事件表征，以支持下游预测任务？
• RQ3 引入抽象事件演化模式（如时序与因果推进）对预测性能有何影响？
• RQ4 能否设计一种可扩展的图神经网络，以避免全局图计算，从而处理大规模事件图？
• RQ5 与先前基于共现或序列的基线模型相比，所提方法在未见事件上下文上的泛化能力是否更优？

主要发现

• 所提出的基于NEEG的模型在广泛使用的《纽约时报》叙事填空基准上显著优于当前最先进基线模型。
• 使用图结构知识捕捉了比事件对或事件链更丰富的关系模式，从而提升了对后续事件的预测准确性。
• 缩放图神经网络（SGNN）通过仅处理每个预测实例相关的子图，实现了大规模事件图上的高效推理。
• 即使候选事件存在强烈但具有误导性的共现模式，该模型在选择正确后续事件方面仍表现出更强的鲁棒性。
• 实验结果证实，NEEG中编码的事件演化原理是叙事理解中宝贵的常识知识。
• 该方法通过利用结构性连接（如包含上下文与正确下一事件的强连通分量）而非孤立的成对关系，实现了更优的性能。