[论文解读] A Structured Learning Approach to Temporal Relation Extraction

Ning Qiang, Zhili Feng+1 more|arXiv (Cornell University)|Jun 12, 2019

Natural Language Processing Techniques参考文献 41被引用 4

一句话总结

本文提出一种结构化学习方法用于时间关系抽取，通过联合建模事件间全局依赖关系，强制执行传递性和对称性约束，从而在局部方法基础上提升性能。通过整合未标注数据并利用迭代全局推理优化预测，该方法在TD-Test数据集上取得48.53的F1分数，相较于ClearTK在TE3-PT上实现14.8%的相对提升。

ABSTRACT

Identifying temporal relations between events is an essential step towards natural language understanding. However, the temporal relation between two events in a story depends on, and is often dictated by, relations among other events. Consequently, effectively identifying temporal relations between events is a challenging problem even for human annotators. This paper suggests that it is important to take these dependencies into account while learning to identify these relations and proposes a structured learning approach to address this challenge. As a byproduct, this provides a new perspective on handling missing relations, a known issue that hurts existing methods. As we show, the proposed approach results in significant improvements on the two commonly used data sets for this problem.

研究动机与目标

• 解决自然语言中时间关系抽取的挑战，其中局部模型常因全局不一致（如传递性与对称性违反）而失效。
• 克服现有局部模型的局限性，这些模型独立进行成对决策，而未考虑完整的时间图结构。
• 通过结构化学习推断合理关系，利用全局一致性约束处理标注中缺失的关系。
• 通过半监督结构化学习框架有效利用未标注数据，提升泛化能力。
• 在稀疏与密集标注数据集上均展示优越性能，表明在不同标注方案下具有鲁棒性。

提出的方法

• 将时间关系抽取建模为结构化预测问题，输出为全局一致的时间图，而非独立的成对标签。
• 使用结构化感知机算法，基于全局推理的反馈联合更新局部模型，确保满足对称性与传递性约束。
• 通过类似协同训练的策略（CoDL）整合未标注数据，在标注与未标注数据间交替优化预测。
• 应用整数线性规划（ILP）对预测关系施加全局一致性，纠正局部模型产生的不一致。
• 引入后处理过滤机制，通过移除不一致或模糊的关系提升精度。
• 结合来自CAEVO的E-T TLINKs与本方法生成的E-E TLINKs，以增强整体性能。

实验结果

研究问题

• RQ1 是否可通过强制执行全局一致性（如传递性与对称性）的结构化学习方法，使时间关系抽取超越局部模型？
• RQ2 所提方法在处理人工标注时间数据中缺失关系方面的有效性如何？
• RQ3 在半监督设置下，未标注数据在多大程度上可被有效利用以提升时间关系抽取性能？
• RQ4 该结构化方法是否在不同标注方案下均优于如CAEVO与ClearTK等最先进系统？
• RQ5 通过后处理过滤与全局一致性强制，该方法能否在保持高召回率的同时提升精确率？

主要发现

• 所提出的CoDL+ILP方法在TD-Test数据集上取得48.53的F1分数，显著优于先前最先进系统。
• 在TE3-PT数据集上，CoDL+ILP相较ClearTK实现14.8%的相对F1分数提升，表明在稀疏标注数据上表现强劲。
• SP+ILP变体在TD-Test上优于CAEVO，当使用TE3-SV未标注数据集时，F1分数相对提升6.3%。
• 后处理过滤显著提升性能，通过减少不一致预测体现结构化学习在处理模糊或歧义关系方面的优势。
• 该方法在不同标注方案下表现出鲁棒性，且在更密集的TD-Test集上性能高于更稀疏的TE3-PT集。
• 尽管召回率较高，但TE3-PT上的精确率仍较低，作者归因于标注缺失，表明数据质量对性能指标有显著影响。