[論文レビュー] Improving Temporal Relation Extraction with a Globally Acquired Statistical Resource

Ning Qiang, Hao Wu+2 more|arXiv (Cornell University)|Apr 17, 2018

Data Management and Algorithms参考文献 30被引用数 4

ひとこと要約

本稿では、20年間にわたるニューヨーク・タイムズ記事から得られた確率的知識ベース、TemProb を紹介する。この知識ベースは、出来事間の典型的な時間的順序を捉えている。既存の時間関係抽出システムに、このグローバルに取得された統計的リソースを統合することで、TimeBank-Denseベンチマークにおいて顕著な性能向上が達成され、ゴールドイベント特徴が存在しない状況ですら、最先端の手法を上回る性能を発揮した。

ABSTRACT

Extracting temporal relations (before, after, overlapping, etc.) is a key aspect of understanding events described in natural language. We argue that this task would gain from the availability of a resource that provides prior knowledge in the form of the temporal order that events usually follow. This paper develops such a resource -- a probabilistic knowledge base acquired in the news domain -- by extracting temporal relations between events from the New York Times (NYT) articles over a 20-year span (1987--2007). We show that existing temporal extraction systems can be improved via this resource. As a byproduct, we also show that interesting statistics can be retrieved from this resource, which can potentially benefit other time-aware tasks. The proposed system and resource are both publicly available.

研究の動機と目的

• 時間関係抽出システムにおける典型的な出来事の時間的順序に関する事前知識の欠如に対処すること。
• 20年分のニュースコーパスから大規模かつ確率的な出来事時間関係知識ベースを構築すること。
• グローバルな統計的知識の統合が、既存の時間関係抽出システムの性能を向上させることを実証すること。
• 時間認識NLPタスクに有益な、公開可能なリソースおよびシステムを提供すること。

提案手法

• 既存の時間関係抽出システムを用いて、1987年から2007年までの100万件を超えるニューヨーク・タイムズ記事から出来事間の時間関係を抽出した。
• 出来事ペア間の「前後」／「後続」／「重複」関係の頻度を記録する確率的知識ベース、TemProb を構築した。
• 既存の時間関係抽出システムに、TemProb をグローバル事前分布として統合し、予測を精緻化した。統合は局所的またはグローバルな設定で行った。
• 条件付きランダムフィールドを用いて、TemProb からの事前確率を活用する形で、局所的およびグローバルな推論設定の両方で知識ベースを適用した。
• TimeBank-Dense (TBDense) ベンチマークを用いて、最先端のシステムと比較して手法の有効性を検証した。
• 提案手法の出力と Ning et al. (2017) の出力を組み合わせることで、完全な TBDense データセット上で予測をナイーブに拡張した。

実験結果

リサーチクエスチョン

• RQ1 グローバルに取得された典型的な出来事時間的順序の統計的リソースは、時間関係抽出を改善できるか？
• RQ2 出来事の内容が欠落している状況で、出来事の順序パターンに関する事前知識は、曖昧さをどれほど軽減できるか？
• RQ3 ゴールドイベント特徴（時制、アスペクト、モダリティ、極性など）が利用できない状況で、TemProb はどれほど性能向上に寄与できるか？
• RQ4 グローバルな統計的知識の統合が、ベンチマークデータセットで最先端の結果を達成できるか？

主な発見

• 提案手法は、部分的な TimeBank-Dense テストセットで F1 スコア 55.5 を達成し、CAEVO (47.6 F1) や Ning et al. (2017) (51.5 F1) を上回った。
• ゴールドイベント特徴（時制、アスペクト、モダリティ、極性）が存在しない状況でも、提案手法は精度および F1 において CAEVO や Ning et al. (2017) を上回った。
• McNemar検定により、性能向上が統計的に有意であることが確認された（p < 0.0005）。
• 提案手法の予測と Ning et al. (2017) の予測をナイーブに組み合わせることで、完全な TBDense データセット上で、新しい最先端の F1 スコア 49.2 を達成した。
• 完全な TBDense データセットにおける提案手法の意識的 F1 スコアは 49.2 に達し、CAEVO (45.7) や Ning et al. (2017) (48.5) を上回った。
• TemProb は主たるタスクを超えて有用であることが示され、他の時間認識NLPアプリケーションに役立つ意味のある時間的統計を抽出可能であることが分かった。