[論文レビュー] Document-level Event Extraction via Heterogeneous Graph-based Interaction Model with a Tracker

Runxin Xu, Tianyu Liu+2 more|arXiv (Cornell University)|May 31, 2021

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本稿では、文書レベルのイベント抽出のための異種グラフベースの相互作用モデルGitを提案する。本モデルは、イベントの引数が文に散らばっていることや、イベント同士が相互に依存していることを考慮し、異種グラフを用いて文・メンション間のグローバルな相互作用をモデル化するとともに、抽出済みの記録をトラッキングすることで、イベント間の依存関係を捉える。大規模データセット上で、先行手法に比べ2.8のF1スコア向上を達成した。

ABSTRACT

Document-level event extraction aims to recognize event information from a whole piece of article. Existing methods are not effective due to two challenges of this task: a) the target event arguments are scattered across sentences; b) the correlation among events in a document is non-trivial to model. In this paper, we propose Heterogeneous Graph-based Interaction Model with a Tracker (GIT) to solve the aforementioned two challenges. For the first challenge, GIT constructs a heterogeneous graph interaction network to capture global interactions among different sentences and entity mentions. For the second, GIT introduces a Tracker module to track the extracted events and hence capture the interdependency among the events. Experiments on a large-scale dataset (Zheng et al., 2019) show GIT outperforms the previous methods by 2.8 F1. Further analysis reveals GIT is effective in extracting multiple correlated events and event arguments that scatter across the document. Our code is available at https://github.com/RunxinXu/GIT.

研究の動機と目的

• 文書レベルのイベント抽出における、文間で散らばるイベント引数の課題に対処すること。
• 文書内の複数の関連するイベント間の依存関係をモデル化すること。
• 複数のイベントタイプと文間引数を含む長大で複雑な文書におけるイベント抽出のパフォーマンスを向上させること。
• グローバルな文脈とイベント相互関係を統合的にモデル化できるスケーラブルで効果的なアーキテクチャを設計すること。

提案手法

• 文ノードとメンションノードを含む異種グラフを構築し、文やエンティティ間のグローバルな相互作用をモデル化する。
• 文-文、文-メンション、インラインメンション-メンション、インターメンション-メンションの4種類のエッジを定義し、多様な関係パターンを捉える。
• グラフニューラルネットワークを用いて、異種グラフ全体にわたる表現の集約を実行し、文脈に依存した符号化を実現する。
• 以前に抽出されたイベント記録のグローバルなメモリを維持するトラッカー・モジュールを導入する。
• デコード段階で、同じタイプまたは異なるタイプのイベント記録間で、依存関係の信号を伝搬させる。
• 事前学習済みの文脈特徴量を入力特徴として用い、モデル全体をエンドツーエンドで微調整する。

実験結果

リサーチクエスチョン

• RQ1 異種グラフは、散らばるイベント引数の文間相互作用を効果的にモデル化できるか？
• RQ2 以前に抽出されたイベント記録をトラッキングすることで、文書レベルのEEにおける相互依存イベントのモデル化が向上するか？
• RQ3 本手法は、文間およびマルチイベント抽出において、先行手法に比べてどのように性能を発揮するか？
• RQ4 トラッカーは、複雑でマルチイベントを含む文書において、どの程度パフォーマンス向上に寄与しているか？

主な発見

• Gitは、Zheng et al. (2019) のデータセットにおいて、以前の最先端手法に比べ2.8の絶対的F1スコア向上を達成した。
• 本手法は、文間イベント抽出で3.7のF1スコア上昇、マルチイベントシナリオで4.9のF1スコア上昇を示した。
• アブレーションスタディの結果、トラッカーの寄与が顕著であることが確認され、削除した場合に1.2のF1スコア低下が生じ、特にマルチイベント設定で顕著であった。
• 文書の複雑さが増すとトラッカーの有効性が向上し、イベント記録数が多いほど性能差が広がることがわかった。
• ケーススタディでは、以前にトラッキングされたイベントからの情報を活用することで、文間で離れている引数を正しく関連付ける能力を示した。
• 特に文間で散らばる引数を抽出する場面で、Doc2EDAGなどの強力なベースラインに比べて優れた性能を発揮した。