[論文レビュー] Seeing the Forest and the Trees: Detection and Cross-Document Coreference Resolution of Militarized Interstate Disputes

Benjamin J. Radford|arXiv (Cornell University)|May 6, 2020

Computational and Text Analysis Methods被引用数 6

ひとこと要約

本稿では、政治的紛争報道における文書間イベントコアリフレンス解決を目的として、Headlines of War (HoW) データセットを紹介する。このデータセットは、軍事的対立の国際的紛争（MID）の同時検出と、複数文書間の関連する見出しのリンクを可能にする。本稿では、イベント検出とコアリフレンス予測を同時に実行するマルチタスク畳み込みニューラルネットワークを提案し、ベースライン手法と比較して検出精度およびリンク精度が向上することを示している。

ABSTRACT

Previous efforts to automate the detection of social and political events in text have primarily focused on identifying events described within single sentences or documents. Within a corpus of documents, these automated systems are unable to link event references -- recognize singular events across multiple sentences or documents. A separate literature in computational linguistics on event coreference resolution attempts to link known events to one another within (and across) documents. I provide a data set for evaluating methods to identify certain political events in text and to link related texts to one another based on shared events. The data set, Headlines of War, is built on the Militarized Interstate Disputes data set and offers headlines classified by dispute status and headline pairs labeled with coreference indicators. Additionally, I introduce a model capable of accomplishing both tasks. The multi-task convolutional neural network is shown to be capable of recognizing events and event coreferences given the headlines' texts and publication dates.

研究の動機と目的

• 既存のイベント検出システムが文書や文レベルでのみ動作するという制限を是正し、文書間のイベントリンクを漏れなく検出することを目的とする。
• 政治的紛争報道におけるイベント検出と文書間コアリフレンス解決の両方の評価を可能にするデータセットの構築を目的とする。
• 見出し間のイベント検出とコアリフレンス解決を統合的に実行できる深層学習モデルの提案を目的とする。
• GDELT や ICEWS などのイベントデータシステムで一般的に用いられるヒューリスティクスに比べ、自動イベントデータにおける重複イベントレコードの削減を目的とする。
• 単一文書イベントコーディングにとどまらない、将来的なイベントコアリフレンス解決研究のベンチマークを提供することを目的とする。

提案手法

• Headlines of War (HoW) データセットは、MIDS 3.0 データセットから正例（コアリフレント）の見出し対を、ニューヨーク・タイムズ・ワールド版の見出しから負例（非コアリフレント）のサンプルを抽出して構築された。
• データセットには、見出しのノードリストと、同じ軍事的対立の国際的紛争（MID）を指す見出し間のコアリフレンスリンクのエッジリストが含まれる。
• マルチタスク畳み込みニューラルネットワークを訓練し、イベント分類（見出しがMIDを指しているかの検出）とコアリフレンス予測（同じMIDを指す見出しをリンク）を同時に実行する。
• モデルは見出しテキストと発行日を入力特徴として用い、検出とリンクの両方の目的関数を最適化するための共有層とタスク固有の層を有する。
• 負例サンプリングは、自然言語処理分野の標準的手法に従い、正例対に対して5:1の比率で実施されたが、これは偽陰性を生じる可能性がある。
• モデルは、標準的な分類およびリンク予測の指標を用いて、時系列的分割を用いて実施された出側サンプルデータ上で評価された。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク深層学習モデルは、ニュース見出しにおける政治的イベント（MID）を効果的に検出すると同時に、複数の見出し間でのコアリフレンス解決を実行できるか？
• RQ2 発行日を入力特徴として含めることで、文書間イベントコアリフレンス解決の性能にどのような影響を与えるか？
• RQ3 GDELT や ICEWS のような従来のヒューリスティクスと比較して、提案されたモデルは、イベントデータシステムにおける重複イベントレコードをどの程度削減できるか？
• RQ4 HoW データセットの時系列的分割を考慮すると、未学習の時間領域にモデルがどの程度一般化可能か？
• RQ5 負例サンプリング戦略の選択が、モデルが真の非コアリフレント見出しを正しく識別する能力に与える影響は何か？

主な発見

• マルチタスク畳み込みニューラルネットワークは、HoW データセット上でベースラインモデルと比較して、イベント検出およびコアリフレンス解決の両面で顕著な性能向上を達成した。
• 特に長期間にわたって報じられたイベントに対して、同じMIDを指す見出しを文書間でリンクする精度が向上した。
• 時系列的分割の結果、初期の時間領域で学習したモデルは後続の時間領域に一般化しにくく、実運用における時系列シフトの課題を浮き彫りにした。
• 見出しテキストと発行日を入力特徴として用いることで、重複するか類似した表現を含むイベントのコアリフレンス解決能力が向上した。
• 見出しの欠落や負例サンプリングにおける偽陰性の可能性があるものの、データセット構築プロセスは将来的な研究のための実用的ベンチマークを提供している。
• 本研究は、同時検出とリンク処理が、重複削減の観点から逐次的または独立的なアプローチを上回ることを確認した。