[论文解读] Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource

Ning Qiang, Hao Wu+2 more|arXiv (Cornell University)|Apr 17, 2018

Data Management and Algorithms参考文献 30被引用 4

一句话总结

本文提出了TemProb，一个基于20年《纽约时报》文章构建的概率知识库，用于捕捉事件之间的典型时间顺序。通过将这一全局获取的统计资源整合到现有的时间关系抽取系统中，作者在TimeBank-Dense基准上实现了显著的性能提升，即使在没有使用黄金事件特征的情况下，也优于当前最先进方法。

ABSTRACT

Extracting temporal relations (before, after, overlapping, etc.) is a key aspect of understanding events described in natural language. We argue that this task would gain from the availability of a resource that provides prior knowledge in the form of the temporal order that events usually follow. This paper develops such a resource -- a probabilistic knowledge base acquired in the news domain -- by extracting temporal relations between events from the New York Times (NYT) articles over a 20-year span (1987--2007). We show that existing temporal extraction systems can be improved via this resource. As a byproduct, we also show that interesting statistics can be retrieved from this resource, which can potentially benefit other time-aware tasks. The proposed system and resource are both publicly available.

研究动机与目标

• 解决时间关系抽取系统中缺乏典型事件时间顺序先验知识的问题。
• 从20年新闻语料中构建大规模、概率性的事件时间关系知识库。
• 证明整合全局统计知识可提升现有时间关系抽取系统的性能。
• 提供一个公开可用的资源与系统，以促进时间感知NLP任务的发展。

提出的方法

• 利用现有的时间关系抽取系统，从超过100万篇《纽约时报》文章（1987–2007年）中提取事件之间的时间关系。
• 构建TemProb，一个概率知识库，记录事件对之间‘先于’/‘后于’/‘重叠’关系的频率。
• 将TemProb作为全局先验知识，以局部或全局方式集成到现有时间关系抽取系统中，以优化预测结果。
• 在局部和全局推理设置中应用该知识库，使用条件随机场模型并引入来自TemProb的先验概率。
• 在TimeBank-Dense（TBDense）基准上验证方法，与当前最先进系统进行性能比较。
• 通过将所提系统与Ning等人（2017年）的输出结果简单融合，对完整TBDense数据集的预测结果进行朴素增强。

实验结果

研究问题

• RQ1 能否通过全局获取的典型事件时间顺序统计资源提升时间关系抽取性能？
• RQ2 当事件内容缺失时，事件序列模式的先验知识在多大程度上能减少歧义？
• RQ3 当缺乏黄金事件特征（如时态、体、情态、极性）时，TemProb能在多大程度上提升性能？
• RQ4 整合全局统计知识是否能带来基准数据集上的最先进结果？

主要发现

• 所提系统在部分TimeBank-Dense测试集上达到55.5的F1分数，优于CAEVO（47.6 F1）和Ning等人（2017年）（51.5 F1）。
• 即使在缺乏黄金事件特征（时态、体、情态、极性）的情况下，所提系统在精确率和F1分数上仍优于CAEVO和Ning等人（2017年）。
• McNemar检验确认性能提升具有统计显著性（p < 0.0005）。
• 将所提系统预测结果与Ning等人（2017年）的预测结果进行朴素融合后，在完整TBDense数据集上达到新的最先进F1分数49.2。
• 所提系统在完整TBDense数据集上的意识F1分数达到49.2，超过CAEVO（45.7）和Ning等人（2017年）（48.5）。
• TemProb的实用性不仅限于主要任务，还可用于检索有意义的时间统计信息，从而惠及其他时间感知NLP应用。