[论文解读] Introducing the ICBe Dataset: Very High Recall and Precision Event Extraction from Narratives about International Crises

Rex W. Douglass, Thomas Leo Scherer+11 more|arXiv (Cornell University)|Feb 14, 2022

Computational and Text Analysis Methods被引用 4

一句话总结

本文提出ICBe，一个基于新颖本体论的高精度、高召回率国际危机事件抽取数据集，其数据源自国际危机行为（ICB）项目中的高质量叙事文本。通过结合人工编码与自然语言处理技术，ICBe在现有数据集基础上实现了更优的覆盖范围与准确性，经古巴导弹危机与克里米亚-顿巴斯危机的案例研究验证，并引入了新的可视化工具与事件抽取评估基准。

ABSTRACT

How do international crises unfold? We conceptualize of international relations as a strategic chess game between adversaries and develop a systematic way to measure pieces, moves, and gambits accurately and consistently over a hundred years of history. We introduce a new ontology and dataset of international events called ICBe based on a very high-quality corpus of narratives from the International Crisis Behavior (ICB) Project. We demonstrate that ICBe has higher coverage, recall, and precision than existing state of the art datasets and conduct two detailed case studies of the Cuban Missile Crisis (1962) and Crimea-Donbas Crisis (2014). We further introduce two new event visualizations (event icongraphy and crisis maps), an automated benchmark for measuring event recall using natural language processing (sythnetic narratives), and an ontology reconstruction task for objectively measuring event precision. We make the data, online appendix, replication material, and visualizations of every historical episode available at a companion website www.crisisevents.org and the github repository.

研究动机与目标

• 开发一种系统化、高精度的方法，用于测量过去百年国际关系危机历史中战略互动的演变。
• 解决现有事件数据集在重建历史危机叙事时存在的召回率与精确率偏低的局限性。
• 通过人机结合的编码流程，创建一个覆盖范围更广、一致性更高的黄金标准数据集（ICBe）。
• 引入客观的评估机制，如合成叙事与本体重构，用于衡量事件抽取中的召回率与精确率。
• 通过www.crisisevents.org与GitHub平台公开提供可视化工具、复现材料与数据，以确保可复现性与可重用性。

提出的方法

• ICBe数据集通过将新设计的灵活本体论应用于ICB项目中的471篇高质量历史叙事文本构建而成，将每句话映射为离散的、机器可读的事件。
• 采用人机结合的编码流程，结合专家人工编码与自然语言处理技术，以确保事件抽取的一致性与可扩展性。
• 本体论旨在结构化地捕捉细致的外交、军事与政治行为，包含事件类型、参与方、时间与地点等要素。
• 开发了一种基于合成叙事的新基准，用于客观评估召回率，通过检验事件编码对原始叙事内容的重建能力。
• 通过本体重构任务评估事件精确率，即编码者基于提取的数据重新编码事件，以检验其一致性与准确性。
• 该方法包含两种新可视化工具：事件图标图（event icongraphy）与危机地图（crisis maps），以增强对危机动态的时间-空间理解与可解释性。

实验结果

研究问题

• RQ1 事件抽取系统在多大程度上能够以高召回率与高精确率重建历史国际危机的完整叙事内容？
• RQ2 ICBe数据集在覆盖范围、召回率与精确率方面相较于现有最先进事件数据集表现如何？
• RQ3 合成叙事能否作为衡量国际关系数据中事件抽取召回率的有效且客观的基准？
• RQ4 ICBe本体论在多大程度上能够捕捉国际危机的战略复杂性，相较于以往事件编码框架？
• RQ5 事件图标图与危机地图等可视化工具在提升大规模事件数据在危机分析中的可解释性方面发挥何种作用？

主要发现

• ICBe在召回率与精确率方面显著优于现有最先进事件数据集，展现出对历史危机叙事更全面的覆盖能力。
• 合成叙事基准显示，当前系统在重建国际危机中细微差异方面表现不足，表明关键事件存在大量未被识别的情况。
• 本体重构任务证实，ICBe的编码结果高度一致且精确，与原始叙事内容的偏差极小。
• 古巴导弹危机（1962年）与克里米亚-顿巴斯危机（2014年）的案例研究显示，ICBe成功捕捉了其他数据集中常被遗漏的关键外交与军事行动。
• 事件图标图与危机地图可视化工具有效揭示了危机动态中的时间与空间模式，支持更深层次的分析洞察。
• 所有数据、代码、可视化工具与复现材料均已公开发布于www.crisisevents.org与GitHub，确保完全可复现与可重用。