[論文レビュー] Eliciting Knowledge from Language Models for Event Extraction.

Jiaju Lin, Jian Jin+1 more|arXiv (Cornell University)|Sep 11, 2021

Topic Modeling参考文献 21被引用数 7

ひとこと要約

本稿では、事象抽出のための事前学習言語モデルから知識を引き出すために、統合的なプロンプトベースの手法を提案する。具体的には、トリガー検出とアーギュメント抽出を対象としている。カスタマイズされたプロンプトを通じてトリガーとアーギュメントの相互作用をモデル化することで、特に最小限の学習データを用いた少データ学習設定において、ACE2005ベンチマークで最先端の性能を達成した。

ABSTRACT

Eliciting knowledge contained in language models via prompt-based learning has shown great potential in many natural language processing tasks, such as text classification and generation. Whereas, the applications for more complex tasks such as event extraction are less studied, since the design of prompt is not straightforward due to the complicated types and arguments. In this paper, we explore to elicit the knowledge from pre-trained language models for event trigger detection and argument extraction. Specifically, we present various joint trigger/argument prompt methods, which can elicit more complementary knowledge by modeling the interactions between different triggers or arguments. The experimental results on the benchmark dataset, namely ACE2005, show the great advantages of our proposed approach. In particular, our approach is superior to the recent advanced methods in the few-shot scenario where only a few samples are used for training.

研究の動機と目的

• 複数の事象タイプとアーギュメントを含む複雑な事象抽出タスクに、プロンプトベースの学習を適用する課題に対処すること。
• 適切にカスタマイズされたプロンプトを通じて、トリガーとアーギュメントを統合的にモデリングすることで、事象抽出のパフォーマンスを向上させること。
• 少資源（少データ）設定において、プロンプトベースの知識抽出が従来の手法を上回る可能性があるかどうかを検討すること。
• 一般化性能を向上させるために、事象トリガーとそのアーギュメントの間の相互作用を捉える有効なプロンプトを設計すること。

提案手法

• トリガー検出とアーギュメント抽出の両方の知識を同時に引き出す統合的なトリガー／アーギュメントプロンプト手法を提案する。
• 事象トリガーとそのアーギュメントの関係をエンコードする専用のプロンプトを設計し、それらの相互作用をモデル化する。
• 事前学習済み言語モデルを用いて、プロンプトテンプレートに基づく予測を生成し、コンテキスト内学習を活用する。
• 最小限のラベル付き例でモデルを適応させるため、少データファインチューニング戦略を採用する。
• 複数のプロンプトバリアントを統合することで、言語モデルから補完的な知識を抽出する。
• 標準的および少データ設定でのパフォーマンス評価を目的として、ACE2005ベンチマークデータセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 プロンプトベースの学習は、複雑な事象抽出タスクにおいて、言語モデルから知識を効果的に引き出せるか？
• RQ2 プロンプトを通じたトリガーとアーギュメントの統合的モデリングは、独立したモデリングと比較して、抽出パフォーマンスをどのように向上させるか？
• RQ3 提案手法は、少資源（少データ）シナリオにおいて、どの程度一般化可能か？
• RQ4 プロンプト設計が、事象トリガーとアーギュメントの間の相互作用を捉える上で、どのような影響を及ぼすか？

主な発見

• 提案された統合的プロンプトベース手法は、ACE2005ベンチマークにおける事象抽出で最先端のパフォーマンスを達成した。
• 限られた学習データを用いた少データ学習シナリオにおいて、最近の高度な手法を著しく上回る性能を示した。
• プロンプトを通じたトリガーとアーギュメントの統合的モデリングは、より補完的で正確な予測をもたらした。
• 事象要素間の相互作用を捉えるプロンプト設計が、全体の抽出品質を向上させた。