[論文レビュー] Cross-context News Corpus for Protest Events related Knowledge Base Construction

Ali Hürriyetoğlu, Erdem Yörük+5 more|arXiv (Cornell University)|Aug 1, 2020

Computational and Text Analysis Methods被引用数 5

ひとこと要約

本論文は、インド、中国、南アフリカの英語報道ニュースから得た、文書、文、トークンレベルでドメインエキスパートがアノテートし、アクティブラーニングおよび準自動エラー検出を経て精錬された、クロスコンテキストのゴールドスタンダードコーパスを紹介する。このコーパスにより、機械学習モデルの自動的プロテストイベント抽出のためのトレーニングとベンチマークが可能となり、実世界のランダムデータにおいて最先端の再現率を達成し、クロスコンテキスト分類およびコアリファレンス解決の共通タスクを支援する。

ABSTRACT

We describe a gold standard corpus of protest events that comprise of various local and international sources from various countries in English. The corpus contains document, sentence, and token level annotations. This corpus facilitates creating machine learning models that automatically classify news articles and extract protest event-related information, constructing knowledge bases which enable comparative social and political science studies. For each news source, the annotation starts on random samples of news articles and continues with samples that are drawn using active learning. Each batch of samples was annotated by two social and political scientists, adjudicated by an annotation supervisor, and was improved by identifying annotation errors semi-automatically. We found that the corpus has the variety and quality to develop and benchmark text classification and event extraction systems in a cross-context setting, which contributes to the generalizability and robustness of automated text processing systems. This corpus and the reported results will set the currently lacking common ground in automated protest event collection studies.

研究の動機と目的

• 社会科学研究における機械学習を支援するため、高品質でマルチコンテキストのゴールドスタンダードコーパスを構築すること。
• 自動プロテストイベント収集における共通ベンチマークの不足に対処し、複数の国およびニュースソースにまたがる標準化されたアノテート済みデータセットを提供すること。
• 言語スタイルおよびコンテンツのクロスコンテキスト変動を組み込むことで、NLPツールのロバスト性および一般化性能を向上させること。
• 実世界のランダムテストデータを用いたテキスト分類、イベント抽出、コアリファレンス解決システムのベンチマーク化を可能とすること。

提案手法

• インド、中国、南アフリカのローカルおよび国際的ニュースソースから10,000件を超える英語報道記事を対象にゴールドスタンダードコーパスを構築した。
• マルチレベルのアノテーションを適用：文書レベル（プロテスト vs. 非プロテスト）、文レベル（イベントの有無）、トークンレベル（イベントトリガー、意味的カテゴリ、場所、時刻、参加者、共参照）。
• ハイブリッドアノテーションプロセスを採用：初期のランダムサンプリングに続き、情報量の多いサンプルを優先するアクティブラーニングを実施。二重ラベリングと監視者による仲裁を実施。
• 手動および準自動の品質チェックを実装し、アノテーションエラーを検出し是正することで、コーパスの信頼性を向上させた。
• コーパスを用いて、文書分類、文レベルのイベント検出、トークンレベルの情報抽出のための機械学習パイプラインを開発・評価した。
• CLEF 2019およびLREC 2020での共通タスクを通じてコーパスの妥当性を検証し、クロスコンテキスト評価に有効であることを示した。

実験結果

リサーチクエスチョン

• RQ1 多様なニュースソースおよび国をカバーするプロテストイベント情報抽出のための高品質でマルチコンテキストのゴールドスタンダードコーパスをどのように構築できるか？
• RQ2 クロスコンテキストの変動を組み込むことで、プロテストイベント検出のためのNLPモデルのロバスト性および一般化性能はどの程度向上するか？
• RQ3 このコーパスでトレーニングされた機械学習パイプラインは、クロスコンテキストの文書、文、トークンレベル分類タスクでどの程度の性能を示すか？
• RQ4 アクティブラーニングおよび準自動エラー補正の導入は、最終的なゴールドスタンダードコーパスの品質および信頼性をどの程度向上させるか？
• RQ5 このコーパスは、限定的またはバイアスのかかったテストセットではなく、実際のランダムデータにおける再現率の最先端の評価を可能とするか？

主な発見

• コーパスには10,000件を超えるニュース記事が含まれており、800件を超えるプロテスト関連記事が、イベントトリガー、場所、時刻、参加者、共参照の各項目について文およびトークンレベルでアノテートされている。
• 最良のパイプライン設定（Doc+Sent+Tok）は、200件のテストセットでF1-macroスコア0.614を達成し、トリガー検出の精度は0.701、再現率は0.547であった。
• トークンレベルのイベント抽出では、トリガーでF1スコア0.722、時刻で0.683、場所で0.683、ターゲットで0.491を記録し、コアイベント要因において優れた性能を示した。
• コーパスはCLEF 2019およびLREC 2020で共通タスクを実施し、参加者の結果が報告された性能と同等であったため、ベンチマークとしての有効性が検証された。
• 本研究では、実際のランダムデータにおける再現率の最先端の定量的評価が、過去にない形で実証された。これにより、従来の評価設定の制限を克服した。
• トレーニングデータとは異なるテストデータを用いた場合に顕著な性能低下が観察されたことから、モデルトレーニングおよび評価におけるクロスコンテキストデータの重要性が浮き彫りになった。