[論文レビュー] Textual Entailment for Event Argument Extraction: Zero- and Few-Shot with Multi-Source Learning

Oscar Sainz, Itziar González-Dios+3 more|arXiv (Cornell University)|May 3, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文は、複数のNLIデータセットにおけるマルチソース事前学習を活用することで、ゼロショットおよびフェイントショット設定においてアノテーションの必要を90%削減する、テキスト帰属に基づくイベントアーギュメント抽出（EAE）フレームワークを提案する。語彙化されたテンプレートを用いてEAEを帰属として再定式化することで、ACEおよびWikiEventsのSOTA性能を達成するとともに、スキーマ依存性を最小限に抑え、最小限の人的努力でクロスドメイン移行を可能にする。

ABSTRACT

Recent work has shown that NLP tasks such as Relation Extraction (RE) can be recasted as Textual Entailment tasks using verbalizations, with strong performance in zero-shot and few-shot settings thanks to pre-trained entailment models. The fact that relations in current RE datasets are easily verbalized casts doubts on whether entailment would be effective in more complex tasks. In this work we show that entailment is also effective in Event Argument Extraction (EAE), reducing the need of manual annotation to 50% and 20% in ACE and WikiEvents respectively, while achieving the same performance as with full training. More importantly, we show that recasting EAE as entailment alleviates the dependency on schemas, which has been a road-block for transferring annotations between domains. Thanks to the entailment, the multi-source transfer between ACE and WikiEvents further reduces annotation down to 10% and 5% (respectively) of the full training without transfer. Our analysis shows that the key to good results is the use of several entailment datasets to pre-train the entailment model. Similar to previous approaches, our method requires a small amount of effort for manual verbalization: only less than 15 minutes per event argument type is needed, and comparable results can be achieved with users with different level of expertise.

研究の動機と目的

• イベントアーギュメント抽出（EAE）の高コストなアノテーションを、タスクの再定式化としてテキスト帰属を活用することで低減すること。
• ACEやWikiEventsのような異なるイベントスキーマ間での移行を可能にするために、厳密でドメイン特化されたスキーマに依存するのを最小限に抑えること。
• MNLIに限定しない、複数のNLIデータセットにおけるマルチソースNLI事前学習が、帰属ベースEAE性能の向上に寄与するかどうかを評価すること。
• 語彙化テンプレートの作成と手動アノテーションの間の時間的・人的コストのトレードオフを定量化し、最適なバランスを同定すること。

提案手法

• イベントアーギュメントタイプごとに自然言語の仮説（語彙化）を生成することで、EAEをテキスト帰属タスクとして再定式化し、入力を（イベントトリガー、候補アーギュメント、役割タイプ）として構造化するテンプレートを用いる。
• MNLI、SNLI、FEVER、ANLIなどの複数のNLIデータセットで事前学習されたモデルを微調整することで、単一データセットでの事前学習に比べ、汎化性と頑健性を向上させる。
• 帰属モデルを用いて、前提（文脈）と仮説（候補アーギュメントを含むテンプレート）間の帰属確率をスコアリングすることで、最も可能性の高いアーギュメント役割を予測する。
• データの再アノテーションなしに、テンプレートと事前学習済みモデルを再利用することで、ACEとWikiEvents間でのゼロショットおよびフェイントショット移行を可能にし、アノテーションの必要を全訓練データのわずか5–10%にまで削減する。
• 多様なNLIデータセットを同時に事前学習することでマルチソース学習を実現し、MNLIのみで微調整したモデルに比べ、ゼロショットおよびフェイントショットの汎化性能を向上させる。
• 最小限のドメイン知識で十分な人間によるフィードバックを組み込んだテンプレート作成アプローチを採用し、専門家および初心者によるテンプレート作成者を対象に性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 従来の関係抽出よりも複雑なタスクであるイベントアーギュメント抽出に、テキスト帰属を効果的に適用できるか。特にゼロショットおよびフェイントショットでの高い性能を達成できるか。
• RQ2 MNLIのみで微調整するのではなく、複数のNLIデータセット（例：MNLI、SNLI、FEVER、ANLI）を用いたマルチソース事前学習が、帰属ベースEAE性能を顕著に向上させるか。
• RQ3 手動アノテーションからテンプレート作成への移行によって、アノテーションの負荷をどの程度まで削減できるか。また、両者の間で最適な時間配分は何か。
• RQ4 再アノテーションなしにACEとWikiEvents間でのスキーマ間移行を達成できるか。全体的なアノテーションコストはどの程度削減されるか。
• RQ5 テンプレートの品質はアノテーターの専門知識に依存するのか。それとも、非専門家でも同等の性能を持つ語彙化を生成できるのか。

主な発見

• 帰属ベースEAEシステムは、ACEおよびWikiEventsの両方でSOTA性能を達成し、フェイントショット設定では訓練データの20%で完全監視性能と同等の結果を達成した。
• MNLIに加えてSNLI、FEVER、ANLIなどの複数のNLIデータセットを用いた事前学習は、MNLI単体での学習に比べ、特にゼロショットおよびフェイントショットの状況で顕著に高い性能を示した。
• 1つのイベントアーギュメントタイプあたり15分未満でテンプレート作成が可能であり、初心者による作成でも同等の性能が得られるため、専門知識の障壁が低いことが示された。
• ACEからWikiEventsに移行する際、アノテーションの必要を全訓練データのたった10%にまで削減でき、追加の手動ラベル付けは一切不要だった。WikiEventsからACEに移行する際は5%にまで削減された。
• ACEデータの5%をアノテートするには約9時間でF1スコア37.5が得られたが、5時間のテンプレート作成ではゼロショットでF1スコア40.6が得られ、テンプレート作成の方がアノテーションより効率的であることが示された。
• 性能曲線は、延長したテンプレート作成による利得の逓減を示しており、5時間のテンプレート作成と9時間のアノテーションが最適なバランス（F1 = 57）をもたらすことを示唆している。