[論文レビュー] Attention-guided Generative Models for Extractive Question Answering

Peng Xu, Davis Liang+2 more|arXiv (Cornell University)|Oct 12, 2021

Topic Modeling参考文献 29被引用数 11

ひとこと要約

本稿では、事前学習済みの生成的質問応答モデルにおけるクロスアテンションパターンを用いて、追加パラメータなしで答えのスパンを抽出する手法を提案する。生成的および抽出的タスクを同時に学習することで、より少ないパラメータでオープンドメインQAで最先端の性能を達成し、アテンション誘導型スパンフォールバックにより幻覚のない推論を実現する。

ABSTRACT

We propose a novel method for applying Transformer models to extractive question answering (QA) tasks. Recently, pretrained generative sequence-to-sequence (seq2seq) models have achieved great success in question answering. Contributing to the success of these models are internal attention mechanisms such as cross-attention. We propose a simple strategy to obtain an extractive answer span from the generative model by leveraging the decoder cross-attention patterns. Viewing cross-attention as an architectural prior, we apply joint training to further improve QA performance. Empirical results show that on open-domain question answering datasets like NaturalQuestions and TriviaQA, our method approaches state-of-the-art performance on both generative and extractive inference, all while using much fewer parameters. Furthermore, this strategy allows us to perform hallucination-free inference while conferring significant improvements to the model's ability to rerank relevant passages.

研究の動機と目的

• 事前学習済みの生成的モデルにおけるクロスアテンションパターンを、抽出的答えスパン予測のための組み込みアーキテクチャ的バイアスとして活用すること。
• 生成的および抽出的タスクを同時に学習することで、抽出的および生成的QAの両方の性能を向上させること。
• 生成的QAにおける幻覚を回避するため、クロスアテンションに整合したスパンをフォールバックメカニズムとして用いること。
• クロスアテンションスコアを、パassage関連性の代理指標として用いることで、検索されたパassageの再順序付けを改善すること。
• アテンションに基づく証拠を露出させることで、ブラックボックスな生成的QAシステムの解釈可能性を高めること。

提案手法

• 生成されたトークンと入力コンテキストトークン間のデコーダークロスアテンション重みを用い、答えに最も関連するコンテキストスパンを特定する。
• 学習中にクロスアテンションが正解の答えスパンと整合するよう促す微分可能なスパン抽出損失を適用する。
• 標準的な交差エントロピー損失（生成用）と、アテンション整合性に基づくスパン抽出損失を組み合わせた、1つのシーケンス・トゥ・シーケンス・トランスフォーマーモデルを訓練する。
• 生成出力が文脈外または幻覚的である場合に、上位k個のアテンション重み付きコンテキストトークンをフォールバックとしての答えとして使用する。
• 答えに関連するトークンにおけるアテンション重みの合計を用いてパassageスコアを計算し、検索されたパassageの再順序付けを行う。
• アテンション機構を、追加の学習なしにパassage検索のための弱い監督信号として活用し、再順序付け性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 生成的QAモデルにおけるクロスアテンションパターンを、アーキテクチャの変更なしに正確な答えスパンの抽出に利用できるか？
• RQ2 生成的および抽出的タスクを同時に学習することで、抽出的および生成的QAの両方の性能が向上するか？
• RQ3 アテンションに基づくスパン抽出が、生成的QAにおける幻覚を防止する有効なフォールバックとして機能するか？
• RQ4 クロスアテンションスコアは、検索システムにおけるパassage関連性の信頼できる代理指標として機能するか？
• RQ5 アテンションパターンを用いることで、オープンドメイン設定における生成的QAモデルの解釈可能性が向上するか？

主な発見

• 提案されたアテンション誘導型スパン抽出手法は、顕著に少ないパラメータで、最先端の抽出的モデルと同等の性能を達成する。
• NaturalQuestionsおよびTriviaQAにおいて、単一で統合されたアーキテクチャで、生成的および抽出的推論の両方で最先端の性能を達成する。
• クロスアテンションに整合したスパンをフォールバックとして用いることで幻覚が軽減され、産業的QAシステムにおける信頼性が向上する。
• クロスアテンションスコアはパassage関連性の効果的代理指標として機能し、従来のニューラルリtrievalベースラインよりもパassage再順序付け性能が向上する。
• 抽出的監督による共同学習により、FiDモデルではパassage再順序付け精度が5.5%絶対的に向上し、表4に示す。
• 証拠に基づくアテンションパターンを露出させることで、モデルの解釈性が向上し、生成的QAの出力がより透明で信頼できるものになる。