[論文レビュー] EIGEN: Event Influence GENeration using Pre-trained Language Models

Aman Madaan, Dheeraj Rajagopal+4 more|arXiv (Cornell University)|Oct 22, 2020

Topic Modeling参考文献 38被引用数 14

ひとこと要約

本稿では、与えられた出来事、関係タイプ（例：助け、傷つける）、推論のステップ数（ホップ距離）をもとに、前向きおよび後向きの文脈に根ざした出来事の影響を生成するため、微調整された事前学習済み言語モデルを活用する EIGEN というフレームワークを紹介する。EIGEN は WIQA ベンチマークで下流の質問応答性能を 3% F1 向上させ、特に複雑で多段階的かつ知識依存的な質問において顕著な向上を示す。

ABSTRACT

Reasoning about events and tracking their influences is fundamental to understanding processes. In this paper, we present EIGEN - a method to leverage pre-trained language models to generate event influences conditioned on a context, nature of their influence, and the distance in a reasoning chain. We also derive a new dataset for research and evaluation of methods for event influence generation. EIGEN outperforms strong baselines both in terms of automated evaluation metrics (by 10 ROUGE points) and human judgments on closeness to reference and relevance of generations. Furthermore, we show that the event influences generated by EIGEN improve the performance on a "what-if" Question Answering (WIQA) benchmark (over 3% F1), especially for questions that require background knowledge and multi-hop reasoning.

研究の動機と目的

• 手続き的テキストにおける明示的でない出来事の影響を生成する課題に対処すること。これらは明示的に記述されていないが、推論には不可欠である。
• 文脈、関係タイプ（例：助け、傷つける）、推論ホップ距離に条件づけられた出来事の影響を生成する手法を開発すること。
• 出来事の影響生成を支援するための大規模かつ人手でアノテートされたデータセットを構築すること。
• 生成された影響が、アーキテクチャの変更なしに下流の推論タスク（例：質問応答）の性能を向上させるかどうかを評価すること。
• 事前学習済み言語モデルが抽出的推論を超えて、的を射た知識豊富な影響生成に効果的に微調整可能であることを示すこと。

提案手法

• EIGEN は、入力文脈、出来事、関係タイプ、ホップ距離に条件づけられた出来事の影響を生成するために、マスク言語モデルを用いて事前学習済み言語モデル（BERT）を微調整する。
• フレームワークは、ノードが出来事を表し、エッジが関係タイプ（例：助け、傷つける、助けられた、傷つけられた）とホップ数（1ホップ、2ホップ）を表す影響グラフを構築する。
• 入力シーケンスは [文脈] + [対象の出来事] + [影響を受ける出来事] の形式に構成され、BERT の [CLS] トークンを用いて文脈表現を取得する。
• 生成された影響はフラットなリストに連結され、再エンコーディングされて拡張表現が計算され、元の文脈との共同学習が可能になる。
• 損失関数は、元の入力と拡張入力からのクロスエントロピー損失の組み合わせである：$\mathcal{L} = \alpha \cdot \mathcal{L}_i + \beta \cdot \mathcal{L}_a$、ここで $\alpha=1$, $\beta=0.9$。
• 自動評価指標（ROUGE）と人手評価（関連性と参照テキストとの類似度）を用い、WIQA QA ベンチマークで妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、入力に明示的に記載されていないが文脈に根ざした新しい出来事の影響を効果的に生成できるか？
• RQ2 自動評価および人手評価指標において、EIGEN が強力なベースラインと比較して、生成された出来事の影響の質はどの程度高いか？
• RQ3 生成された出来事の影響は、多段階的または暗黙の知識を要する下流の推論タスクの性能をどの程度向上させるか？
• RQ4 生成された影響の組み込みは、背景知識を要する外生的質問（exogenous questions）の性能向上に寄与するか？
• RQ5 特に長いチェーン（例：3ホップ）において、推論ホップ距離に応じてモデルの性能はどのように変化するか？

主な発見

• 自動評価では、EIGEN が強力なベースラインを約 10 ROUGE ポイント上回り、優れた生成品質を示した。
• 人手評価では、EIGEN が生成した影響は、ベースラインと比較して、関連性と参照テキストとの類似度において顕著に優れていた。
• WIQA 質問応答データセットに EIGEN が生成した影響を統合した結果、ベースライン BERT モデルに比べて全体の F1 スコアが 3% 向上した。
• 性能向上は特に 3 ホップの質問において顕著で、EIGEN はベースラインに比べて F1 スコアを 8% 以上向上させ、長距離推論の支援が有効であることを示した。
• 外生的質問（背景知識を要する質問）では 3% の絶対的向上を達成し、暗黙の推論リンクを効果的に補完できることを示した。
• モデルの性能向上は、さまざまな関係タイプや推論距離において一貫しており、多様な推論チェーンにわたる汎用性が裏付けられた。