[论文解读] Domain Knowledge Empowered Structured Neural Net for End-to-End Event Temporal Relation Extraction

Rujun Han, Yichao Zhou+1 more|arXiv (Cornell University)|Sep 15, 2020

Topic Modeling参考文献 37被引用 5

一句话总结

本文提出了一种结构化神经网络框架，通过利用分布约束将概率领域知识整合到模型中，采用拉格朗日松弛法优化推理过程，从而提升端到端事件时序关系抽取的性能。该方法在新闻和临床数据集上显著提升了F1分数，有效缓解了对VAGUE等主导关系的偏见。

ABSTRACT

Extracting event temporal relations is a critical task for information extraction and plays an important role in natural language understanding. Prior systems leverage deep learning and pre-trained language models to improve the performance of the task. However, these systems often suffer from two short-comings: 1) when performing maximum a posteriori (MAP) inference based on neural models, previous systems only used structured knowledge that are assumed to be absolutely correct, i.e., hard constraints; 2) biased predictions on dominant temporal relations when training with a limited amount of data. To address these issues, we propose a framework that enhances deep neural network with distributional constraints constructed by probabilistic domain knowledge. We solve the constrained inference problem via Lagrangian Relaxation and apply it on end-to-end event temporal relation extraction tasks. Experimental results show our framework is able to improve the baseline neural network models with strong statistical significance on two widely used datasets in news and clinical domains.

研究动机与目标

• 解决现有神经模型在事件时序关系抽取中的局限性，特别是由于类别不平衡和训练数据有限，导致对VAGUE等主导关系的预测偏见。
• 通过整合基于语料统计获得的概率性、分布性领域知识，突破先前系统中硬性约束的限制。
• 通过将事件类型特定的关系统计信息融入MAP推理过程，提升模型的泛化能力和推理准确性。
• 实现端到端学习，利用结构化神经网络联合优化深度上下文表征与领域引导的约束条件。
• 证明拉格朗日松弛法在基于概率知识求解约束推理问题中的有效性，适用于时序推理任务。

提出的方法

• 从语料统计中构建分布约束，具体为基于事件类型（如发生与报告）建模时序关系的期望概率分布。
• 将这些概率约束整合到结构化神经网络的MAP推理阶段，而非训练阶段。
• 将约束推理问题形式化为带有不等式约束的优化任务，基于领域知识构建约束，并使用拉格朗日松弛法实现可微分优化。
• 利用预训练语言模型（如BERT）对输入文本进行上下文编码，随后通过关系分类器输出成对时序关系得分。
• 应用拉格朗日松弛法，联合优化神经模型的输出得分与对领域知识约束的遵守程度，实现软性、概率性的约束执行。
• 通过开发集调优选择用于约束构建的三元组数量，以在可靠性与泛化能力之间取得平衡，避免在测试数据上过拟合。

实验结果

研究问题

• RQ1 能否通过事件类型特定的关系统计推导出的概率领域知识，提升神经模型在事件时序关系抽取中的性能？
• RQ2 通过拉格朗日松弛法引入分布约束，是否能带来更好的泛化性能，并减少对VAGUE等主导关系的偏见？
• RQ3 所提出的框架与仅使用硬约束或完全无约束的强基线模型相比，表现如何？
• RQ4 基于三元组频率的约束构建可靠性在多大程度上影响模型在未见测试数据上的泛化能力？
• RQ5 该框架能否有效应用于数据稀疏性与关系分布不同的新闻和临床领域数据集？

主要发现

• 所提框架在TimeBank-Dense（新闻）和I2b2-Temporal（临床）数据集上，相较于强基线模型，显著提升了F1分数，且具有统计显著性。
• 对于发生与报告类型事件对，VAGUE关系的过度预测减少了10%，同时正确预测INCLUDES的关系提升了7.2%。
• 当约束基于低频三元组构建时，测试集性能下降，表明约束的可靠性依赖于足够的数据计数。
• 在开发集上优化约束阈值会导致过拟合，表现为测试F1分数在某一点后开始下降。
• 该框架优于仅依赖硬约束或无领域知识的先前系统，在两个基准数据集上均建立了新的SOTA。
• 在低频或复杂关系类型上的改进最为显著，证明了该方法纠正模型偏见的能力。