[論文レビュー] Event Extraction as Natural Language Generation

I-Hung Hsu, Kuan-Hao Huang+5 more|arXiv (Cornell University)|Aug 29, 2021

Topic Modeling参考文献 26被引用数 6

ひとこと要約

この論文では、タスクを自然言語生成として定式化することで、自己回帰的生成を用いてラベルの意味を活用し、未知またはレアなイベントタイプへの一般化を向上させる、新しいイベント抽出モデルGenEEを提案する。GenEEは、イベントテンプレートに基づいて自然言語文を生成し、その後トリガーと引数にデコードする。高リソース設定では最先端の性能を達成し、ゼロショットおよびフェイワショット一般化においても優れた性能を示す。

ABSTRACT

Event extraction (EE), the task that identifies event triggers and their arguments in text, is usually formulated as a classification or structured prediction problem. Such models usually reduce labels to numeric identifiers, making them unable to take advantage of label semantics (e.g. an event type named Arrest is related to words like arrest, detain, or apprehend). This prevents the generalization to new event types. In this work, we formulate EE as a natural language generation task and propose GenEE, a model that not only captures complex dependencies within an event but also generalizes well to unseen or rare event types. Given a passage and an event type, GenEE is trained to generate a natural sentence following a predefined template for that event type. The generated output is then decoded into trigger and argument predictions. The autoregressive generation process naturally models the dependencies among the predictions -- each new word predicted depends on those already generated in the output sentence. Using carefully designed input prompts during generation, GenEE is able to capture label semantics, which enables the generalization to new event types. Empirical results show that our model achieves strong performance on event extraction tasks under all zero-shot, few-shot, and high-resource scenarios. Especially, in the high-resource setting, GenEE outperforms the state-of-the-art model on argument extraction and gets competitive results with the current best on end-to-end EE tasks.

研究の動機と目的

• 従来のイベント抽出モデルがラベルを数値識別子に還元するため意味が失われ、新しいイベントタイプへの一般化を妨げるという限界を解消すること。
• イベントタイプとその語彙的実現（例：'arrest', 'detain'）の間の意味的関係を捉えることで、レアまたは未知のイベントタイプへの一般化を向上させること。
• タスク固有の再トレーニングを必要とせず、ゼロショット、フェイワショット、高リソース設定のすべてで良好な性能を発揮する統合フレームワークを開発すること。
• 系列生成の自己回帰的性質を活用して、イベントトリガーと引数の間の複雑な依存関係をモデル化すること。
• 意味に配慮した生成により、引数抽出性能が向上するエンドツーエンドのイベント抽出を可能とすること。

提案手法

• イベント抽出を自然言語生成タスクとして定式化：与えられた文章とイベントタイプに対して、そのイベントタイプに適合する事前に定義されたテンプレートに従った自然言語文を生成する。
• 自己回帰的系列モデル（例：T5または類似モデル）を用いて出力文を生成し、各単語が以前に生成された単語に依存するようにすることで、予測の間の依存関係をモデル化する。
• イベントタイプと文脈を明示的に符号化した入力プロンプトを設計し、モデルが関連する意味的キーポイント（例：'arrest' は 'arrested', 'detained', 'apprehended' を引き出す）に注目できるようにする。
• ルールベースまたはニューラルアライメント手法を用いて、生成された文からトリガーと引数の予測をスパンとして特定することで、デコードを行う。
• テンプレートがイベントタイプの意味を保持するように設計し、標準的なイベント抽出データセット上でsequence-to-sequenceの目的関数を用いてモデルを微調整する。
• 事前学習済み言語モデルを活用して意味一般化のためのインダクティブバイアスを注入し、再トレーニングなしにゼロショットおよびフェイワショットで新しいイベントタイプに転移可能にする。

実験結果

リサーチクエスチョン

• RQ1 イベント抽出を自然言語生成タスクとして効果的に再定式化することで、未知または稀なイベントタイプへの一般化を向上させることができるか？
• RQ2 生成ベースのモデルは、イベントタイプとその語彙的実現（例：'arrest' と 'detain'）の間の意味的関係をどれほどうまく捉えることができるか？
• RQ3 自己回帰的生成プロセスは、構造的予測よりも、イベントトリガーと引数の間の依存関係をより効果的にモデル化できるか？
• RQ4 従来の分類ベースのアプローチと比較して、ゼロショット、フェイワショット、高リソース設定すべてにおいて、このモデルの性能はどの程度か？
• RQ5 タスク固有の適応なしに、引数抽出およびエンドツーエンドのイベント抽出で最先端の性能を達成できるか？

主な発見

• GenEEは高リソース設定における引数抽出で最先端の性能を達成し、現在のSOTAモデルを上回った。
• GenEEはエンドツーエンドのイベント抽出タスクにおいても競争力のある結果を示し、全体的な有効性が顕著に証明された。
• プロンプトベースの生成を用いてラベルの意味を活用できるため、未知または稀なイベントタイプへの一般化が良好に実現された。
• ゼロショットおよびフェイワショットの状況でも、意味に配慮した生成による有効な転移学習を示し、優れた性能を発揮した。
• 自己回帰的生成プロセスは、イベントトリガーと引数の間の依存関係を効果的にモデル化し、共同予測の品質を向上させた。
• 慎重に設計された入力プロンプトの使用により、モデルはイベントタイプの意味的ニュアンスを捉えることができ、数値ラベル符号化を超えた一般化が向上した。