[论文解读] Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker

Runxin Xu, Tianyu Liu+2 more|arXiv (Cornell University)|May 31, 2021

Topic Modeling参考文献 16被引用 5

一句话总结

本文提出 Git，一种基于异构图的交互模型，并引入追踪器以实现文档级事件抽取。通过在异构图中建模全局句子-提及交互，并利用追踪器捕捉跨事件依赖，该方法有效解决了事件论元分散于不同句子及事件间相互依赖的问题，在大规模数据集上相比之前的方法实现了 2.8 的 F1 提升。

ABSTRACT

Document-level event extraction aims to recognize event information from a whole piece of article. Existing methods are not effective due to two challenges of this task: a) the target event arguments are scattered across sentences; b) the correlation among events in a document is non-trivial to model. In this paper, we propose Heterogeneous Graph-based Interaction Model with a Tracker (GIT) to solve the aforementioned two challenges. For the first challenge, GIT constructs a heterogeneous graph interaction network to capture global interactions among different sentences and entity mentions. For the second, GIT introduces a Tracker module to track the extracted events and hence capture the interdependency among the events. Experiments on a large-scale dataset (Zheng et al., 2019) show GIT outperforms the previous methods by 2.8 F1. Further analysis reveals GIT is effective in extracting multiple correlated events and event arguments that scatter across the document. Our code is available at https://github.com/RunxinXu/GIT.

研究动机与目标

• 解决文档级事件抽取中事件论元分散于多个句子的挑战。
• 建模文档中多个相关事件之间的相互依赖关系。
• 提升在包含多种事件类型与跨句论元的长篇复杂文档上的事件抽取性能。
• 设计一种可扩展且高效的架构，联合建模全局上下文与事件相互关系。

提出的方法

• 构建包含句子节点与提及节点的异构图，以建模跨句子与实体的全局交互。
• 定义四类边——句子-句子、句子-提及、同提及内、提及间——以捕捉多样的关系模式。
• 采用图神经网络聚合异构图中的表示，实现上下文感知编码。
• 引入追踪器模块，维护先前抽取的事件记录全局记忆，以指导后续预测。
• 在解码过程中利用追踪器在同类型或不同类型事件记录之间传播相互依赖信号。
• 以预训练的上下文嵌入作为输入特征，并端到端微调整个模型。

实验结果

研究问题

• RQ1 异构图能否有效建模分散事件论元的跨句交互？
• RQ2 追踪先前抽取的事件记录是否能提升文档级事件抽取中相互依赖事件的建模效果？
• RQ3 与之前方法相比，所提模型在跨句事件与多事件抽取任务上的表现如何？
• RQ4 在复杂多事件文档中，追踪器对性能提升的贡献程度如何？

主要发现

• Git 在 Zheng 等人（2019）的数据集上相比之前最先进方法实现了 2.8 的绝对 F1 提升。
• 模型在跨句事件抽取任务上提升 3.7 F1，在多事件场景中提升 4.9 F1。
• 消融实验表明追踪器贡献显著，移除后 F1 下降 1.2，尤其在多事件设置中更为明显。
• 随着文档复杂度增加，追踪器的有效性增强，事件记录数量越多，性能差距越明显。
• 案例研究显示，Git 能够通过利用先前追踪的事件信息，正确关联跨句的远距离论元。
• 与强基线模型 Doc2EDAG 相比，该模型在抽取分散于多句的论元方面表现更优。