[论文解读] ERGO: Event Relational Graph Transformer for Document-level Event Causality Identification

Meiqi Chen, Yixin Cao+5 more|arXiv (Cornell University)|Apr 15, 2022

Topic Modeling被引用 15

一句话总结

ERGO 提出了一种新颖的事件关系图Transformer框架，用于文档级事件因果关系识别，通过将因果关系建模为完整事件关系图上的节点分类问题，利用传递性与自适应焦点损失来提升推理能力并减少误报。在两个基准数据集上，其平均F1得分相较之前最先进方法提升了13.1%。

ABSTRACT

Document-level Event Causality Identification (DECI) aims to identify causal relations between event pairs in a document. It poses a great challenge of across-sentence reasoning without clear causal indicators. In this paper, we propose a novel Event Relational Graph TransfOrmer (ERGO) framework for DECI, which improves existing state-of-the-art (SOTA) methods upon two aspects. First, we formulate DECI as a node classification problem by constructing an event relational graph, without the needs of prior knowledge or tools. Second, ERGO seamlessly integrates event-pair relation classification and global inference, which leverages a Relational Graph Transformer (RGT) to capture the potential causal chain. Besides, we introduce edge-building strategies and adaptive focal loss to deal with the massive false positives caused by common spurious correlation. Extensive experiments on two benchmark datasets show that ERGO significantly outperforms previous SOTA methods (13.1% F1 gains on average). We have conducted extensive quantitative analysis and case studies to provide insights for future research directions (Section 4.8).

研究动机与目标

• 为解决缺乏明确因果指示符的文档级事件因果关系识别（DECI）挑战。
• 克服正负事件对之间的不平衡问题，尤其是由虚假相关性导致的误报。
• 通过在结构化图中建模传递性因果链，实现在句子间的全局推理。
• 消除对外部工具或先验知识在图构建中的依赖。
• 提升对隐含因果关系及跨句因果关系检测的泛化能力与鲁棒性。

提出的方法

• 构建一个事件关系图，其中每个节点代表一个候选事件对，仅当节点共享共同事件时才存在边，从而施加传递性约束。
• 将DECI形式化为节点分类任务，每个节点被预测是否具有因果关系。
• 采用关系图Transformer（RGT）以捕捉事件对之间的长距离依赖关系与关系归纳偏置。
• 引入自适应焦点损失，以惩罚那些由虚假相关性引起的困难负样本。
• 通过注意力机制隐式集成共指消解，使模型能够在无需显式依存解析的情况下利用语义与句法线索。
• 利用自注意力机制在预测过程中动态关注信息丰富的邻近节点，从而增强对复杂因果链的推理能力。

实验结果

研究问题

• RQ1 如何在不依赖启发式图结构的前提下，有效建模跨多句的传递性因果推理？
• RQ2 在完整事件关系图上采用节点分类框架，是否能优于现有的基于图或序列的DECI模型？
• RQ3 如何减轻虚假相关性对因果关系检测中误报预测的影响？
• RQ4 自适应焦点损失在高度不平衡的因果关系数据集上，能在多大程度上提升性能？
• RQ5 当前模型在检测隐含或模糊因果关系时的主要失败模式是什么？

主要发现

• ERGO 在两个文档级事件因果关系识别基准数据集上，相较之前最先进方法实现了13.1%的平均F1得分提升。
• 该模型成功识别出传递性因果链，例如当'中断'导致'停电'，且'停电'导致'恢复'时，能推断出'中断'导致'恢复'。
• 通过利用边约束与自适应焦点损失，ERGO 正确区分了虚假相关性（如'受伤'与'逮捕'之间的虚假关联）。
• 案例研究显示，ERGO 在处理共指与跨句推理方面优于BERT，尤其在区分混淆事件方面表现更优。
• 定量分析表明，模型在隐含因果关系（占错误的30%）上表现最弱，其次是时间区分不足（33%）与标注模糊（14%）。
• 模型的注意力机制有效突出相关邻近节点，通过注意力可视化展示了其推理能力的提升。