[論文レビュー] Introducing the ICBe Dataset: Very High Recall and Precision Event Extraction from Narratives about International Crises

Rex W. Douglass, Thomas Leo Scherer+11 more|arXiv (Cornell University)|Feb 14, 2022

Computational and Text Analysis Methods被引用数 4

ひとこと要約

本稿では、国際危機行動（ICB）プロジェクトの高品質なナラティブを対象として、新規のオントロジーを適用した、国際的危機のための高精度・高再現率のイベント抽出データセットであるICBeを紹介する。人間のコード作成とNLP技術を組み合わせることで、既存のデータセットよりも優れたカバレッジと正確性を達成しており、キューバミサイル危機およびクリミア＝ドンバス危機の事例研究を通じて検証されており、イベント抽出評価のための新しい可視化手法とベンチマークツールを含む。

ABSTRACT

How do international crises unfold? We conceptualize of international relations as a strategic chess game between adversaries and develop a systematic way to measure pieces, moves, and gambits accurately and consistently over a hundred years of history. We introduce a new ontology and dataset of international events called ICBe based on a very high-quality corpus of narratives from the International Crisis Behavior (ICB) Project. We demonstrate that ICBe has higher coverage, recall, and precision than existing state of the art datasets and conduct two detailed case studies of the Cuban Missile Crisis (1962) and Crimea-Donbas Crisis (2014). We further introduce two new event visualizations (event icongraphy and crisis maps), an automated benchmark for measuring event recall using natural language processing (sythnetic narratives), and an ontology reconstruction task for objectively measuring event precision. We make the data, online appendix, replication material, and visualizations of every historical episode available at a companion website www.crisisevents.org and the github repository.

研究の動機と目的

• 国際関係における戦略的相互作用を、100年間にわたる危機歴史の文脈で体系的かつ高精度に測定するための方法を開発すること。
• 既存のイベントデータセットが歴史的危機ナラティブの再構築において低再現率および低正確性を示すという限界を是正すること。
• 人間とNLPのハイブリッドコーディングプロセスを通じて、拡張されたカバレッジと一貫性を備えた、新たなゴールドスタンダードデータセット（ICBe）を構築すること。
• 再現率と正確性を測定するための客観的評価メカニズム（合成ナラティブやオントロジー再構築など）を導入すること。
• 再現性と再利用を確保するため、www.crisisevents.orgおよびGitHubを通じて、すべてのデータ、コード、可視化手法、再現資料を公開すること。

提案手法

• ICBeデータセットは、ICBプロジェクトの471件の高品質な歴史的ナラティブに、新たに設計された柔軟なオントロジーを適用することで構築され、各文が離散的かつ機械可読なイベントにマッピングされる。
• エキスパート人間コーダーと自然言語処理（NLP）を組み合わせたハイブリッドコーディングプロセスにより、イベント抽出における一貫性とスケーラビリティが確保される。
• オントロジーは、構造化されたイベントタイプ、参加者、時刻、場所を備えており、細分化された外交的・軍事的・政治的行動を捉えることを目的として設計されている。
• 再現率を客観的に測定するため、合成ナラティブを用いた新規ベンチマークが開発され、イベントコーディングが元のナラティブ内容をどれだけ正確に再構築できるかを評価する。
• 正確性は、抽出されたデータに基づいてコーダーが再コーディングを行うオントロジー再構築タスクを通じて評価される。これにより、一貫性と正確性が検証される。
• 本手法には、解釈可能性と時空間的理解を向上させるための2つの新規可視化手法（イベントアイコングラフィーと危機地図）が含まれる。

実験結果

リサーチクエスチョン

• RQ1 イベント抽出システムは、歴史的国際危機のナラティブ内容をどれほど高い再現率と正確性で再構築できるか。
• RQ2 ICBeデータセットは、既存の最先端イベントデータセットと比較して、カバレッジ、再現率、正確性の観点でどのように異なるか。
• RQ3 合成ナラティブは、国際関係データにおけるイベント抽出の再現率を測定するための有効かつ客観的なベンチマークとして機能できるか。
• RQ4 ICBeオントロジーは、従来のイベントコーディングフレームワークと比較して、国際的危機の戦略的複雑性をどれほど正確に捉えられるか。
• RQ5 イベントアイコングラフィーや危機地図といった可視化手法は、危機分析における大規模イベントデータの解釈性をどの程度向上させるか。

主な発見

• ICBeは、既存の最先端イベントデータセットと比較して、顕著に高い再現率と正確性を達成しており、歴史的危機ナラティブへの包括的カバレッジを示している。
• 合成ナラティブベンチマークの結果、現在のシステムは国際的危機における細分化された変動を正しく再構築できず、重要なイベントの多くが認識されていないことが示された。
• オントロジー再構築タスクの結果、ICBeのコーディングは非常に一貫性が高く、正確性も高く、元のナラティブ内容からの最小限のずれにとどまっている。
• キューバミサイル危機（1962年）およびクリミア＝ドンバス危機（2014年）の事例研究では、ICBeが他のデータセットで見過ごされがちな重要な外交的・軍事的動きを捉えていることが明らかになった。
• イベントアイコングラフィーや危機地図の可視化は、危機ダイナミクスの時間的・空間的パターンを効果的に明らかにし、より深い分析的洞察を可能にしている。
• すべてのデータ、コード、可視化手法、再現資料は、www.crisisevents.orgおよびGitHubで公開されており、完全な再現性と再利用が保証されている。