[論文レビュー] A Multi-Format Transfer Learning Model for Event Argument Extraction via Variational Information Bottleneck

Jie Zhou, Qi Zhang+3 more|arXiv (Cornell University)|Aug 27, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、共通・特異的プロンプトフレームワークと変分情報ボトルネック（VIB）を活用して、フォーマット共通の知識を抽出するとともに、異種のデータセットからのノイズをフィルタリングする、マルチフォーマット転移学習モデルであるUnifiedEAEを提案する。この手法は、3つのベンチマークデータセットで最先端の性能を達成し、クロスフォーマット知識の効果的な転移により、低リソース環境下でのイベントアーギュメント抽出を顕著に改善する。

ABSTRACT

Event argument extraction (EAE) aims to extract arguments with given roles from texts, which have been widely studied in natural language processing. Most previous works have achieved good performance in specific EAE datasets with dedicated neural architectures. Whereas, these architectures are usually difficult to adapt to new datasets/scenarios with various annotation schemas or formats. Furthermore, they rely on large-scale labeled data for training, which is unavailable due to the high labelling cost in most cases. In this paper, we propose a multi-format transfer learning model with variational information bottleneck, which makes use of the information especially the common knowledge in existing datasets for EAE in new datasets. Specifically, we introduce a shared-specific prompt framework to learn both format-shared and format-specific knowledge from datasets with different formats. In order to further absorb the common knowledge for EAE and eliminate the irrelevant noise, we integrate variational information bottleneck into our architecture to refine the shared representation. We conduct extensive experiments on three benchmark datasets, and obtain new state-of-the-art performance on EAE.

研究の動機と目的

• フォーマットが不一致で、アノテーションスキーマやノイズが異なるイベントアーギュメント抽出データセット間での知識転送の課題に対処すること。
• 複数のデータセットで異なるイベントタイプ、役割、命名規則に対応できる統一モデルを開発すること。
• より大きな異種データセットからの共有知識を活用することで、低リソース環境下でのイベントアーギュメント抽出を改善すること。
• 直接データセットを統合することで生じる性能低下を防ぐために、フォーマット固有のノイズをフィルタリングすること。
• 統一アーキテクチャを通じてフォーマット共通とフォーマット固有の表現を同時に学習することで、一般化性能を向上させること。

提案手法

• マルチフォーマットデータセットからフォーマット共通とフォーマット固有の表現を学ぶために、共通・特異的プロンプト（SSP）フレームワークを設計した。
• アーキテクチャの変更なしに、プロンプトベースのファインチューニングを用いて、異なるイベントアーギュメント抽出フォーマットに適応する。
• 共有表現ストリームに変分情報ボトルネック（VIB）モジュールを統合し、関係のないフォーマット固有の情報を抑圧する。
• VIBモジュールは、ターゲットラベルとの相互情報量を最大化するとともに、入力フォーマットに関する情報量を最小化することで、共有表現を正則化する。
• 入力テキストとプロンプトトークンの間で統一されたクロスアテンションメカニズムを用いて、アーギュメント同定と分類を同時に最適化する。
• 異なるフォーマットを持つ複数のデータセット上でエンドツーエンドに学習することで、新しいデータセットへのゼロショットおよびフェイントショット転移を可能にする。

実験結果

リサーチクエスチョン

• RQ1 異種のフォーマット（異なるイベントタイプ、アーギュメント役割、命名規則を含む）を持つデータセット間で、統一モデルが効果的にイベントアーギュメントを抽出できるか？
• RQ2 マルチフォーマットイベントアーギュメント抽出において、フォーマット共通の知識を効果的に学び、フォーマット固有のノイズから分離できるか？
• RQ3 変分情報ボトルネックを統合することで、EAEにおける転移学習の一般化性能とロバストネスがどの程度向上するか？
• RQ4 提案手法は、わずか数例のラベル付き例しか利用できない状況でも、最先端の性能を達成できるか？
• RQ5 アノテーションの不整合性により性能が低下する傾向がある直接データ統合戦略に比べ、本モデルは優れているか？

主な発見

• UnifiedEAEは、3つのベンチマークEAEデータセット（ACE2005、RAMS、WikiEvents）で新たな最先端性能を達成した。
• 共通・特異的プロンプト（SSP）コンポーネントを削除すると、RAMSからWikiEventsに転移する際、アーギュメント同定と分類のF1スコアが約4ポイント低下した。
• 共有VIBコンポーネントの導入により、RAMSからACE2005に転移する際、性能が4ポイント以上向上し、ノイズのフィルタリングと共有知識の強化の有効性が裏付けられた。
• WikiEventsで10個のラベル付き例しか利用しない状況でも、UnifiedEAEは30以上のF1スコアを達成したのに対し、PAIEモデルはほぼランダムな性能にとどまった。これは、強力なフェイントショット一般化性能を示している。
• WikiEventsで200個の例を用いたUnifiedEAEは、3,241件のサンプルで学習されたフルデータセットベースライン（例：BART-Gen、EEQA-BART）と同等の性能を達成した。
• フォーマット共通モデルはゼロショット設定でも一般化可能である：ACE2005で「Personnel.Nominate」の役割を訓練データに存在しなかったにもかかわらず正しく抽出した。