[论文解读] Deep Structured Neural Network for Event Temporal Relation Extraction

Rujun Han, I-Hung Hsu+4 more|arXiv (Cornell University)|Sep 22, 2019

Topic Modeling参考文献 34被引用 6

一句话总结

该论文提出了一种深度结构化神经网络，结合双向LSTM与结构化SVM，联合预测事件时序关系，利用长期上下文和全局一致性约束。通过整合上下文感知的BERT嵌入并利用结构化预测实现传递闭包，该模型在三个基准数据集（TCR、MATRES、TB-Dense）上取得了最先进性能。

ABSTRACT

We propose a novel deep structured learning framework for event temporal relation extraction. The model consists of 1) a recurrent neural network (RNN) to learn scoring functions for pair-wise relations, and 2) a structured support vector machine (SSVM) to make joint predictions. The neural network automatically learns representations that account for long-term contexts to provide robust features for the structured model, while the SSVM incorporates domain knowledge such as transitive closure of temporal relations as constraints to make better globally consistent decisions. By jointly training the two components, our model combines the benefits of both data-driven learning and knowledge exploitation. Experimental results on three high-quality event temporal relation datasets (TCR, MATRES, and TB-Dense) demonstrate that incorporated with pre-trained contextualized embeddings, the proposed model achieves significantly better performances than the state-of-the-art methods on all three datasets. We also provide thorough ablation studies to investigate our model.

研究动机与目标

• 为解决事件时序关系抽取中不一致的局部预测问题，通过建模全局结构依赖关系。
• 通过双向LSTM学习长期上下文依赖关系，改进特征表示。
• 将领域知识——特别是时序关系的传递闭包——整合到预测框架中，实现全局一致的决策。
• 评估上下文感知嵌入（BERT）和语言学特征在提升模型性能方面的有效性。
• 展示所提出框架在多样化时序关系数据集上的鲁棒性与泛化能力。

提出的方法

• 该模型使用双向LSTM对事件对进行编码，捕获超出即时句边界依赖关系的长期上下文表征。
• 采用结构化支持向量机（SSVM）对所有事件对进行联合预测，强制实施全局一致性约束，如时序关系的传递闭包。
• 局部打分函数通过神经网络学习，输入为双向LSTM的拼接隐藏状态，并可选择性地加入语言学特征（如时态、极性、距离）。
• 该框架支持端到端联合训练，使全局结构反馈能够指导神经组件的表征学习。
• 使用上下文感知的词嵌入（BERT）作为输入特征，替代静态嵌入（如GloVe），以提升语义表征质量。
• 通过关系反转和显式对称性约束实现数据增强，以提升模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 结合深度神经网络与结构化预测的联合学习框架，是否能超越成对分类，在时序关系抽取中实现性能提升？
• RQ2 RNN生成的长期上下文表征在多大程度上提升了时序关系预测的准确性？
• RQ3 将领域知识——特别是传递闭包——整合到神经结构化预测框架中，其有效性如何？
• RQ4 与静态词嵌入相比，使用上下文感知嵌入（BERT）是否显著提升性能？
• RQ5 语言学特征和数据增强对模型鲁棒性与泛化能力的影响是什么？

主要发现

• 所提模型在三个基准数据集上均取得最先进F1分数：TCR为80.9，MATRES为81.7，TB-Dense为63.2，优于先前最先进方法。
• 使用BERT嵌入带来显著性能提升，与基于GloVe的模型相比，MATRES上的F1分数最高提升达11.2点。
• 在正向与反向评估中，模型均保持强性能（MATRES与TCR的F1 > 80），表现出鲁棒性，而其他模型在反向评估中性能下降。
• 显式对称性约束与数据增强显著提升模型鲁棒性，尤其在关系对被反转的场景中。
• 语言学特征（时态、极性、距离）未提升性能，甚至可能损害结果，表明模型学习到的表征已具备丰富的语义信息，无需额外特征。
• 消融实验证实，结构化组件强制执行传递闭包的能力至关重要，缺乏此约束的模型即使局部预测准确，仍会在一致性检查中失败。