[論文レビュー] Document-Level Event Argument Extraction by Conditional Generation

Sha Li, Heng Ji+1 more|arXiv (Cornell University)|Apr 13, 2021

Topic Modeling参考文献 25被引用数 10

ひとこと要約

本稿では、エンコーダ・デコーダアーキテクチャを用いてテンプレート埋め込みとしてイベント抽出を定式化することで、文書レベルのイベントアーギュメント抽出のための条件付き生成ベースのニューラルモデルを提案する。RAMSでは7.6%のF1向上、WikiEventsでは5.7%のF1向上を達成し、ACEの10種類のイベントタイプのみを用いてもゼロショット転送フレームワークが97%のトリガー抽出性能と82%のアーギュメント抽出性能を達成する。

ABSTRACT

Event extraction has long been treated as a sentence-level task in the IE community. We argue that this setting does not match human information-seeking behavior and leads to incomplete and uninformative extraction results. We propose a document-level neural event argument extraction model by formulating the task as conditional generation following event templates. We also compile a new document-level event extraction benchmark dataset WikiEvents which includes complete event and coreference annotation. On the task of argument extraction, we achieve an absolute gain of 7.6% F1 and 5.7% F1 over the next best model on the RAMS and WikiEvents datasets respectively. On the more challenging task of informative argument extraction, which requires implicit coreference reasoning, we achieve a 9.3% F1 gain over the best baseline. To demonstrate the portability of our model, we also create the first end-to-end zero-shot event extraction framework and achieve 97% of fully supervised model's trigger extraction performance and 82% of the argument extraction performance given only access to 10 out of the 33 types on ACE.

研究の動機と目的

• 文書レベルのアプローチを提案することで、文単位のイベント抽出の限界、すなわち文間のアーギュメントやコアリソーションを捉えられない点を是正すること。
• 別個のエンティティ認識やコアリソーション解決モジュールを必要としないエンドツーエンドのアーギュメント抽出を実現するニューラルモデルの開発。
• 文書レベルの評価に適した完全なイベントおよびコアリソーションアノテーションを備えた新しいベンチマークデータセット、WikiEventsの作成。
• テンプレートベースの条件付き生成と転移学習を活用することで、微調整なしに未学習のイベントタイプに対してもゼロショットイベント抽出を可能にすること。
• 文書スパン全体で最も情報量の多いアーギュメントの表記を特定することで、単に近接する表記にとどまらず、抽出の情報量を向上させること。

提案手法

• イベントアーギュメント抽出を条件付き生成として定式化：文書とイベントテンプレートが与えられたもとで、モデルが引数を埋めたテンプレートを生成する。
• テンプレートと文書の連結を入力とし、トークン単位で出力を生成する、系列対系列モデル（例：T5ベース）を採用。
• 文書またはテンプレートからの引数の直接コピーに、コピー機構によるソース追跡を組み合わせ、外部のNERやコアリソーションモジュールを必要としないエンドツーエンド学習を実現。
• 名前付きエンティティよりも代名詞を優先するのではなく、文書全体にわたるコアリソーション解決を要請する「情報量の多いアーギュメント抽出」という新しいタスクを導入。
• 引数モデルとキーワードベースのトリガ検出器を組み合わせることで、微調整なしに未学習のイベントタイプに対してもゼロショット転送を可能に。
• テンプレートを外部イベントオントロジーとしての条件付けとして活用することで、イベントタイプ間でパラメータ共有を実現し、一般化を促進。

実験結果

リサーチクエスチョン

• RQ1 条件付き生成モデルは、従来の文単位および文間アーギュメント抽出手法に比べ、文書レベルのイベント抽出で優れた性能を示せるか？
• RQ2 特にアーギュメントが暗黙的であるか、代名詞で表現される場合に、文書スパン全体で最も情報量の多いアーギュメントの表記を効果的に特定できるか？
• RQ3 微調整なしに、未学習のイベントタイプに対してどの程度一般化できるか？
• RQ4 テンプレートを外部条件付けとして用いることで、モデルの性能とイベントタイプ間での移植性が向上するか？
• RQ5 複雑なコアリソーション推論を要する長文書に対して、モデルはどの程度の性能を発揮するか？

主な発見

• 提案モデルは、RAMSデータセットにおける従来の最も優れたモデルと比較して、F1スコアで7.6%の絶対的向上を達成した。
• WikiEventsデータセットでは、最も強力なベースラインと比較してF1スコアが5.7%向上し、新しい文書レベルベンチマークでも優れた性能を示した。
• 暗黙のコアリソーション推論を要するより困難な情報量の多いアーギュメント抽出タスクでは、最良のベースラインと比較してF1スコアで9.3%の向上を達成した。
• 引数モデルとキーワードベースのトリガ検出器を組み合わせたゼロショット転送フレームワークは、ACEの33種類のイベントタイプのうち10種類のみを用いても、完全に教師ありモデルのトリガ抽出性能の97%、アーギュメント抽出性能の82%を達成した。
• トリガと同じ文に存在するアーギュメントのうち、わずか34.5%しか情報量の多いものとされていないことから、文書レベルの推論の必要性が浮き彫りになった。
• モデルは、爆発イベントの文脈で「彼」が「McVeigh」に正しく関連付けられるなど、文書をまたがる代名詞の名前エンティティへの解決に成功した。