[論文レビュー] Unsupervised Label-aware Event Trigger and Argument Classification

Hongming Zhang, Haoyu Wang+1 more|arXiv (Cornell University)|Dec 30, 2020

Topic Modeling参考文献 28被引用数 10

ひとこと要約

この論文は、事前定義されたオントロジーからのラベル意味と構造的制約のみを用いて、文脈特化埋め込みと整数線形計画法による制約正則化を活用し、アノテートされた学習データが一切不要なゼロショットイベント抽出フレームワークを提案する。この手法は、アノテーションなしでACE-2005で83%のトリガー分類精度および54%の引数分類精度を達成し、従来のゼロショット手法のほぼ2倍の性能を発揮する。

ABSTRACT

Identifying events and mapping them to pre-defined event types has long been an important natural language processing problem. Most previous work has been heavily relying on labor-intensive and domain-specific annotations while ignoring the semantic meaning contained in the labels of the event types. As a result, the learned models cannot effectively generalize to new domains, where new event types could be introduced. In this paper, we propose an unsupervised event extraction pipeline, which first identifies events with available tools (e.g., SRL) and then automatically maps them to pre-defined event types with our proposed unsupervised classification model. Rather than relying on annotated data, our model matches the semantics of identified events with those of event type labels. Specifically, we leverage pre-trained language models to contextually represent pre-defined types for both event triggers and arguments. After we map identified events to the target types via representation similarity, we use the event ontology (e.g., argument type "Victim" can only appear as the argument of event type "Attack") as global constraints to regularize the prediction. The proposed approach is shown to be very effective when tested on the ACE-2005 dataset, which has 33 trigger and 22 argument types. Without using any annotation, we successfully map 83% of the triggers and 54% of the arguments to the correct types, almost doubling the performance of previous zero-shot approaches.

研究の動機と目的

• 高コストなドメイン特化アノテーションを回避するゼロショットイベント抽出システムの開発。
• イベントタイプラベルの意味的意味を活用することで、新しいイベントタイプやドメインへの一般化性能の向上。
• オントロジーからのラベル定義と構造的制約のみを用いて、イベントトリガーと引数を分類すること。
• 高パフォーマンスを維持しつつ、アノテートされた学習データに依存しないこと。
• 最小限のセットアップで、新しいデータセットやイベント分類体系にイベント抽出パイプラインを展開可能にする。

提案手法

• 大規模コーパスに含まれるラベルを含む文から得られる文脈特化埋め込みを用いて、イベントタイプラベルを表現する。
• イベントトリガーおよび引数の文脈特化埋め込みとラベルクラスタとのコサイン類似度を計算することで、それらをターゲットタイプにマッピングする。
• イベントオントロジーの構造的制約（例：有効な引数役割マッピング、エンティティタイプ制限）を予測プロセスにおけるグローバル制約として使用する。
• 最終的な分類ステップを整数線形計画法（ILP）問題として定式化し、すべての予測が定義された制約を満たすように保証する。
• SRLおよびメンチョン検出モジュールといった既存のNLPツールとゼロショット分類モデルを統合し、引数同定の精度を向上させる。
• イベントタイプの定義（例：「攻撃」には「攻撃者」と「標的」が必要）を活用して予測をガイドおよび正則化する。

実験結果

リサーチクエスチョン

• RQ1 ラベル意味とオントロジー制約のみを用いて、ゼロショット設定でイベントトリガーと引数を正確に分類できるか？
• RQ2 ゼロショットイベント分類において、固定語彙埋め込みと比較して文脈特化ラベル表現はどの程度効果的か？
• RQ3 イベントオントロジーからの構造的制約を統合することで、ゼロショット分類性能はどの程度向上するか？
• RQ4 アノテートされた学習データが一切ない状態で、ゼロショットイベント抽出パイプラインが教師ありSOTAシステムに匹敵する性能を発揮できるか？
• RQ5 学習データを一切使用しない状況で、ゼロショットシステムの性能は教師ありモデルと比べてどの程度か？

主な発見

• 提案されたゼロショットモデルは、アノテートされた学習データを一切使用せずに、ACE-2005データセットで83%のトリガー分類精度を達成した。
• モデルは引数分類で54%の精度を達成し、従来のゼロショットアプローチを顕著に上回った。
• ラベルに含まれる多様な文から得られる文脈特化ラベル表現の使用は、固定語彙表現に比べて顕著な性能向上をもたらした。
• 整数線形計画法を用いてイベントオントロジーの構造的制約を統合することで、予測の一貫性と精度が向上した。
• SRLおよびメンチョン検出モジュールと組み合わせることで、6,000文以上の学習データで訓練された教師ありSOTAシステムと同等の性能を達成した。
• アブレーションスタディの結果、文脈特化ラベル表現と適切な制約統合の両方が、モデルの成功に不可欠であることが確認された。