[論文レビュー] Probing and Fine-tuning Reading Comprehension Models for Few-shot Event Extraction

Rui Feng, Jie Yuan+1 more|arXiv (Cornell University)|Oct 21, 2020

Topic Modeling参考文献 44被引用数 19

ひとこと要約

本稿では、イベント抽出の少サンプル設定において、イベント検出をテクスト帰属関係の予測問題、および引数検出を質疑応答問題として定式化することで、事前学習済みBERTモデルを用いてタスクおよびラベルの意味を蒸留する、読解理解フレームワークを提案する。このアプローチは、完全教師あり設定下でACE 2005ベンチマークで最先端の性能を達成し、ゼロショットおよび少サンプル設定でも優れた結果を示し、有効な知識の転送とラベル効率性を実証している。

ABSTRACT

We study the problem of event extraction from text data, which requires both detecting target event types and their arguments. Typically, both the event detection and argument detection subtasks are formulated as supervised sequence labeling problems. We argue that the event extraction models so trained are inherently label-hungry, and can generalize poorly across domains and text genres.We propose a reading comprehension framework for event extraction.Specifically, we formulate event detection as a textual entailment prediction problem, and argument detection as a question answer-ing problem. By constructing proper query templates, our approach can effectively distill rich knowledge about tasks and label semantics from pretrained reading comprehension models. Moreover, our model can be fine-tuned with a small amount of data to boost its performance. Our experiment results show that our method performs strongly for zero-shot and few-shot event extraction, and it achieves state-of-the-art performance on the ACE 2005 benchmark when trained with full supervision.

研究の動機と目的

• イベント抽出のための従来の教師あり系列ラベル付けモデルがラベルに依存する性質に対処すること。
• 大規模なアノテート済みデータセットへの依存を減らすことで、ドメインやテキストジャンルを越えた一般化性能の向上を図ること。
• 事前学習済み言語モデルからの知識蒸留を活用して、効果的なゼロショットおよび少サンプルイベント抽出を実現すること。
• トリガー語の依存関係からイベント検出と引数検出を分離することで、より柔軟で頑健な抽出を可能にすること。
• プロービングとファインチューニングを用いて、事前学習モデルのイベント抽出への転送可能性を調査すること。

提案手法

• イベント検出をテキスト帰属関係予測タスクとして定式化：文とその文にイベントが発生していると仮定する仮説が与えられたとき、仮説が文に帰属するかどうかを予測する。
• 引数検出を質疑応答タスクとして定式化：イベントの引数について自然言語の質問（例：「輸送はどこで行われたか？」）を生成し、入力文からスパンを抽出する。
• 帰属関係ヘッドおよびQAヘッドの両方のバックボーンとして事前学習済みBERTモデルを用い、豊富な意味的および世界知識を転送可能にする。
• 各イベントタイプおよび引数役割ごとにクエリテンプレートを構築し、タスク固有およびラベル固有の意味をモデルにガイドする。
• 小規模なラベル付きデータ上でエンドツーエンドモデルをファインチューニングし、特定のイベント抽出タスクに適応させる。
• ファインチューニングの前段階で、BERTからイベントタイプおよび引数役割に関する知識を分析・蒸留するためのプロービング技術を活用する。

実験結果

リサーチクエスチョン

• RQ1 イベント抽出を読解理解タスクとして再定式化することで、少サンプルおよびゼロショット一般化性能が向上するか？
• RQ2 テキスト帰属関係と質疑応答のコンponentsが、事前学習済み言語モデルからイベント抽出へ知識を効果的に転送できるか？
• RQ3 トリガー語の識別から引数検出を分離することで、リソースが限られた環境下での頑健性と性能が向上するか？
• RQ4 テンプレートベースのクエリが、イベントタイプおよび引数タイプの汎用的表現を学習するのをどの程度効果的にガイドできるか？
• RQ5 ゼロショット、少サンプル、完全教師あり性能の観点から、提案フレームワークは系列ラベル付けベースラインと比べてどの程度優れているか？

主な発見

• 提案フレームワークは、完全教師あり設定下でACE 2005ベンチマークで最先端の性能を達成し、既存の系列ラベル付けモデルを上回っている。
• 本モデルは優れた少サンプル一般化性能を示し、1イベントタイプあたり数例のラベル付きデータでの高精度を達成している。
• ゼロショット設定でも競争力のある性能を示しており、BERTから蒸留された知識のおかげで、ターゲットデータへのファインチューニングなしで一般化が可能であることが示された。
• タスク固有のテンプレートを用いたBERTプロービングにより、イベントタイプおよび引数役割に関する意味的・構造的知識が効果的に捉えられた。
• 最小限のデータでモデルをファインチューニングすることで性能が著しく向上し、蒸留された知識の有効性が裏付けられた。
• 本アプローチはドメインシフトに対して頑健であり、ノイズの多いトリガー語アノテーションへの依存を軽減し、一貫性と一般化性能の向上を実現した。