[論文レビュー] Augmenting Pre-trained Language Models with QA-Memory for Open-Domain Question Answering

Wenhu Chen, Pat Verga+3 more|arXiv (Cornell University)|Apr 10, 2022

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模なメモリストアから質問-回答ペアを取得・利用するように事前学習することで、オープンドメイン質問応答を向上させるQA-メモリ拡張トランスフォーマー、QAMATを提案する。2段階の事前学習手法を導入し、小規模データセットでの性能を向上させるとともに、繰り返しの検索を用いたマルチホップ推論を可能にし、Musique や HotpotQA といった複雑なベンチマークで、先行するQA専用モデルを上回る性能を発揮する。

ABSTRACT

Retrieval augmented language models have recently become the standard for knowledge intensive tasks. Rather than relying purely on latent semantics within the parameters of large neural models, these methods enlist a semi-parametric memory to encode an index of knowledge for the model to retrieve over. Most prior work has employed text passages as the unit of knowledge, which has high coverage at the cost of interpretability, controllability, and efficiency. The opposite properties arise in other methods which have instead relied on knowledge base (KB) facts. At the same time, more recent work has demonstrated the effectiveness of storing and retrieving from an index of Q-A pairs derived from text \citep{lewis2021paq}. This approach yields a high coverage knowledge representation that maintains KB-like properties due to its representations being more atomic units of information. In this work we push this line of research further by proposing a question-answer augmented encoder-decoder model and accompanying pretraining strategy. This yields an end-to-end system that not only outperforms prior QA retrieval methods on single-hop QA tasks but also enables compositional reasoning, as demonstrated by strong performance on two multi-hop QA datasets. Together, these methods improve the ability to interpret and control the model while narrowing the performance gap with passage retrieval systems.

研究の動機と目的

• QA-メモリベースのモデルにおける、質問-質問検索のための大規模な教師ありデータの不足という、主な障壁に対処する。
• WebQuestions のような低リソースQAベンチマークでの性能向上を図るため、質問検索のための新しい事前学習タスクを導入する。
• 構成的推論を可能にするために、QA-メモリベースのシステムを用いてマルチホップ質問を処理する。これにより、従来のモデルが単一ホップクエリにしか対応できないという制限を克服する。
• 潜在的検索手法よりも効率的なトレーニングパイプラインを開発し、高価な非同期インデックス更新を回避する。
• QAペアが知識単位として効果的であり、知識ベースの三元組と同等の性能を発揮するが、テキストパassage よりも広範なカバー範囲を持つことを示す。

提案手法

• 質問-回答ペアを格納するキーバリュー形式のメモリを備えた、T5ベースのエンコーダデコーダモデルである QAMAT を提案する。
• 2段階の事前学習戦略を採用：まずバッチ内QAペアでエンコーダーを事前学習し、検索と解釈を学習する。次に、固定されたグローバルメモリでファインチューニングを行う。
• 既存の質問生成手法を用いてテキストパassageから質問を生成することで、大規模な事前学習コーパスを構築する。
• モデルを、答えをマスクしてメモリから正しいQAペアを検索するように学習させ、推論時の検索をシミュレートする。
• 複数ラウンドの検索を可能にする QAMAT+ を導入し、複雑な質問に対して段階的な推論ステップを連結する。
• エンコーダーを凍結した後、固定されたグローバルメモリインデックスを用いることで、効率的な推論を実現し、コストの高いオンラインインデックス更新を回避する。

実験結果

リサーチクエスチョン

• RQ1 質問検索のための事前学習タスクが、小規模で低リソースなQAベンチマークでの性能を顕著に向上させることができるか？
• RQ2 QA-メモリ拡張モデルは、ドキュメント検索や構造化知識ベースに依存せずにマルチホップ推論を実現できるか？
• RQ3 2段階の事前学習パイプラインは、エンドツーエンドの潜在的検索よりも、効率性と性能の面で優れているか？
• RQ4 QAペアは、単一ホップおよび構成的推論を両立できる有効な知識単位として機能できるか？
• RQ5 検索されたQAペアの数が、モデルの性能および推論効率にどのように影響するか？

主な発見

• 2段階の事前学習戦略により、微調整なしで NQ で 44.5% EM、TriviaQA で 53.2% EM の顕著な性能向上が達成された。
• QAMAT+ は、挑戦的なマルチホップQAデータセット Musique で最先端の性能を達成し、RePAQ や T5-CBQA を上回った。
• NQ および TriviaQA では、K=20 の検索でもEMスコアが飽和しており、中程度の数の検索ペアを超えると利得が著しく減少することが示された。
• バッチ内事前学習ステージを削除すると、性能が著しく低下（例：WebQuestions で 26.0% EM）し、この段階が一般化性能にとって極めて重要であることが示された。
• 事前学習のみで NQ および TriviaQA で 40% EM を達成し、ゼロショット設定下でも強力な少データ一般化性能を示した。
• マルチホップデータセットでは、QAMAT+ が単一ホップの QAMAT を上回った。これは、繰り返し検索が構成的推論に有効であることを証明している。