[論文レビュー] Text2Event: Controllable Sequence-to-Structure Generation for End-to-end Event Extraction

Yaojie Lu, Hongyu Lin+7 more|arXiv (Cornell University)|Jun 17, 2021

Topic Modeling参考文献 50被引用数 14

ひとこと要約

Text2Eventは、自然言語トークンとして構造化されたイベントレコード（タイプ、トリガー、引数）を直接生成する、エンド・ツー・エンドのイベント抽出のためのシーケンス・ツー・ストラクチャ生成フレームワークを提案する。制約付きデコードとカリキュラム学習を用いることで、微細なトークンレベルのラベル付けを不要とし、データ効率性とモデルの汎化性能を向上させつつ、限定的なテキストレコードのアノテーションのみで最先端の性能を達成する。

ABSTRACT

Event extraction is challenging due to the complex structure of event records and the semantic gap between text and event. Traditional methods usually extract event records by decomposing the complex structure prediction task into multiple subtasks. In this paper, we propose Text2Event, a sequence-to-structure generation paradigm that can directly extract events from the text in an end-to-end manner. Specifically, we design a sequence-to-structure network for unified event extraction, a constrained decoding algorithm for event knowledge injection during inference, and a curriculum learning algorithm for efficient model learning. Experimental results show that, by uniformly modeling all tasks in a single model and universally predicting different labels, our method can achieve competitive performance using only record-level annotations in both supervised learning and transfer learning settings.

研究の動機と目的

• 微細なマルチタスクアノテーションを必要とし、誤差伝搬の問題を抱える分解ベースのイベント抽出手法の限界を解消すること。
• トリガー検出、引数分類、イベントタイプ予測のすべてのイベント抽出サブタスクを、単一のエンド・ツー・エンドのシーケンス・ツー・ストラクチャ生成フレームワークに統合すること。
• 細粒度のトークンレベルのアノテーションを必要とせず、粗いレベルのテキストレコードペアでのみ学習することにより、データ効率性を向上させること。
• 推論時にリアルタイムでイベントスキーマを統合するカリキュラム学習と組み合わせることで、モデルの学習と汎化性能を向上させること。

提案手法

• イベントラベル（例：'Transport'、'Arg1'）をトークンとして扱うことで、自然言語シーケンスとしてイベントレコードを生成するシーケンス・ツー・ストラクチャニューラルネットワークを提案する。
• イベントスキーマを用いて生成をガイドする制約付きデコードアルゴリズムを導入し、推論中に構造的正しさを保証する。
• 最初に部分構造タスク（例：トリガーまたは引数の生成）を学習し、その後に完全なイベント構造生成に移るというカリキュラム学習戦略を採用する。
• 事前学習言語モデル（PLMs）を初期化に用い、ラベルを自然言語の単語としてエンコードすることで知識を転送する。
• イベントタイプ、トリガー、引数を同時にモデル化する統一アーキテクチャを採用し、コンponents間で共有表現学習を可能にする。
• イベント構造予測をテキスト生成タスクとして扱い、出力として完全なイベントレコードを表すトークンの構造化されたシーケンスを生成する。

実験結果

リサーチクエスチョン

• RQ1 最小限の監視情報で、統合されたシーケンス・ツー・ストラクチャ生成モデルは、分解ベースの手法を上回る性能を発揮できるか？
• RQ2 推論時にイベントスキーマ知識を統合する制約付きデコードは、構造的正確性の向上にどの程度効果的か？
• RQ3 カリキュラム学習は、特にリソースが限られた環境下で、モデルの収束性と性能をどの程度向上させるか？
• RQ4 イベントラベルを自然言語でエンコードすることで、記号的ラベル表現（例：'T'、'A1'）と比較して、事前学習モデルからの知識転送がより効果的に行えるか？

主な発見

• Text2Eventは、ACE05-ENおよびEREデータセットにおいて、レコードレベルのアノテーションのみを用いて最先端の性能を達成し、教師ありおよび転移学習の両設定で先行する最先端手法を上回った。
• 1%のデータで学習する際、制約付きデコードによりTrig-C F1が平均6.7ポイント向上し、リソースが限られた状況下での強力な有効性を示した。
• カリキュラム学習により、Trig-C F1は平均4.7ポイント、Arg-C F1は平均5.8ポイント向上し、モデル最適化における価値が確認された。
• 制約付きデコードを削除すると、特にリソースが限られた状況下で性能が著しく低下し、構造的整合性の維持におけるその役割が裏付けられた。
• ラベルを自然言語の単語（例：'Transport'、'Arg1'）としてエンコードすることで、事前学習モデルからの有効な知識転送が可能となったが、記号的ラベル（例：'T'、'A1'）では性能が著しく低下した。
• 完全なACE05-EN開発セットでは、71.4のTrig-C F1と53.3のArg-C F1を達成し、優れた汎化性能と頑健性を示した。