[论文解读] Extracting Temporal Event Relation with Syntactic-Guided Temporal Graph Transformer.

Shuaicheng Zhang, Lifu Huang+1 more|arXiv (Cornell University)|Apr 19, 2021

Topic Modeling参考文献 43被引用 10

一句话总结

该论文提出了一种句法引导的时间图Transformer模型，通过从句子构建句法图并使用面向时间的注意力机制，识别事件路径上的关键线索，来建模事件之间的时间关系。该方法在MATRES和TB-Dense数据集上取得了最先进性能，在端到端的时间关系抽取与分类任务中均优于先前方法。

ABSTRACT

Extracting temporal relations (e.g., before, after, concurrent) among events is crucial to natural language understanding. Previous studies mainly rely on neural networks to learn effective features or manual-crafted linguistic features for temporal relation extraction, which usually fail when the context between two events is complex or wide. Inspired by the examination of available temporal relation annotations and human-like cognitive procedures, we propose a new Temporal Graph Transformer network to (1) explicitly find the connection between two events from a syntactic graph constructed from one or two continuous sentences, and (2) automatically locate the most indicative temporal cues from the path of the two event mentions as well as their surrounding concepts in the syntactic graph with a new temporal-oriented attention mechanism. Experiments on MATRES and TB-Dense datasets show that our approach significantly outperforms previous state-of-the-art methods on both end-to-end temporal relation extraction and temporal relation classification.

研究动机与目标

• 解决现有神经网络与基于规则的方法在处理时间关系抽取中复杂或长距离上下文依赖方面的局限性。
• 显式建模句子的句法结构，以改善事件之间时间关联的识别。
• 通过一种新型注意力机制，自动定位事件路径及周围概念中最具指示性的时序线索。
• 在端到端时间关系抽取与分类任务中，超越当前最先进方法的性能表现。

提出的方法

• 从一个或两个连续句子构建句法图，以表示词语与事件之间的句法依赖关系。
• 将事件提及及其周围概念表示为图中的节点，依存关系作为边。
• 应用面向时间的注意力机制，聚焦于句法图中两个事件提及之间最相关的路径与线索。
• 使用图Transformer架构编码句法结构，并学习用于关系分类的上下文表示。
• 在标注数据集上端到端训练模型，以预测时间关系类型（如before、after或concurrent）。
• 通过强调基于路径的推理与线索定位，在句法结构中实现类人认知推理。

实验结果

研究问题

• RQ1 句法图表示能否提升时间关系抽取中长距离或复杂上下文依赖的建模能力？
• RQ2 专用的时间导向注意力机制在识别事件路径上最具指示性的线索方面，效果如何？
• RQ3 将句法结构整合到基于图的Transformer中，是否能相比标准神经网络，在时间关系分类任务中取得更优性能？
• RQ4 该模型在真实文本中多样化的时间关系模式上的泛化能力如何？

主要发现

• 所提模型在MATRES基准上达到最先进性能，显著优于先前方法，在端到端时间关系抽取任务中表现突出。
• 在TB-Dense数据集上，模型在时间关系分类任务中表现优异，表明其在多样化时间模式下具备强大泛化能力。
• 句法图的使用使得在复杂或大上下文场景中更准确地识别时间线索成为可能。
• 面向时间的注意力机制成功突出显示了相关路径与线索，提升了可解释性与性能。
• 模型在处理传统模型难以应对的事件间长距离依赖方面表现出强鲁棒性。
• 消融实验证实，句法图构建与时间注意力机制均对整体性能提升有显著贡献。