[論文レビュー] Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering

Shamane Siriwardhana, Rivindu Weerasekera+4 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用数 10

ひとこと要約

本稿では、ドメイン固有の知識ベースを用いて、Retrieval-Augmented Generation (RAG) モデルのリトリーバーとジェネレーターの両方を共同で微調整するためのジョイントトレーニングフレームワーク、RAG-end2end を提案する。さらに、ドメイン固有の知識を注入するための補助的再構成信号も導入している。この手法は、COVID-19、ニュース、会話の3つのドメインにおいて、リトリーブと回答生成の両タスクで、元のRAGモデルを上回る性能を顕著に向上させる。

ABSTRACT

Retrieval Augment Generation (RAG) is a recent advancement in Open-Domain Question Answering (ODQA). RAG has only been trained and explored with a Wikipedia-based external knowledge base and is not optimized for use in other specialized domains such as healthcare and news. In this paper, we evaluate the impact of joint training of the retriever and generator components of RAG for the task of domain adaptation in ODQA. We propose extit{RAG-end2end}, an extension to RAG, that can adapt to a domain-specific knowledge base by updating all components of the external knowledge base during training. In addition, we introduce an auxiliary training signal to inject more domain-specific knowledge. This auxiliary signal forces extit{RAG-end2end} to reconstruct a given sentence by accessing the relevant information from the external knowledge base. Our novel contribution is unlike RAG, RAG-end2end does joint training of the retriever and generator for the end QA task and domain adaptation. We evaluate our approach with datasets from three domains: COVID-19, News, and Conversations, and achieve significant performance improvements compared to the original RAG model. Our work has been open-sourced through the Huggingface Transformers library, attesting to our work's credibility and technical consistency.

研究の動機と目的

• Wikipedia で主にトレーニングされているが、医療やニュースなど専門分野では性能が劣るRAGモデルのドメイン適応性の限界を解消すること。
• リトリーバーとジェネレーターの両方を共同で微調整することで、ドメイン固有のオープンドメイン質問応答（ODQA）の性能が向上するかを調査すること。
• 取得したドメイン固有のパassageから文を再構成させるようにモデルをトレーニングする補助的トレーニング信号の影響を評価すること。
• トレーニング中に外部知識ベースの埋め込みを更新することで、固定されたエンコーディングと比較して一般化性能が向上し、性能の低下が軽減されることを示すこと。

提案手法

• ドメイン固有の知識ベースと補助的再構成信号を用いて、Dense Passage Retriever (DPR)、Generator (BART)、および外部知識ベースの埋め込みをトレーニング中に共同で微調整するエンドツーエンドのトレーニングフレームワーク、RAG-end2end を提案する。
• モデルが取得したパassageから事実的な文を生成するように学習する再構成補助信号を導入し、ドメイン固有の知識学習を強化する。
• COVID-19の研究論文、ニュース記事、会話データなどのドメイン固有の知識ベースを用い、パassageを100語単位に分割してリトリーブに使用する。
• トレーニング中に知識ベースのエンコーディングを非同期的に更新する手法を採用し、各更新後に全コーパスを再エンコードする必要を回避する。
• 合成QAペアを必要とせず、質問-回答ペアと取得されたパassageを用いてエンドツーエンドでモデルをトレーニングする。
• 再現可能性とコミュニティの採用を促進するため、オープンソース実装としてHugging Face Transformers ライブラリを活用する。

実験結果

リサーチクエスチョン

• RQ1 Wikipedia とは異なるドメイン向けに、リトリーバーとジェネレーターの両方を共同で微調整することで、RAGモデルのドメイン適応性が向上するか？
• RQ2 文の再構成補助信号を含めることで、ドメイン固有のODQAにおけるリトリーバーとジェネレーターの性能にどのような影響を与えるか？
• RQ3 エンコーディングを更新するトレーニングと、固定されたエンコーディングを維持するトレーニングとを比較した場合、性能にどのような差が生じるか？
• RQ4 RAG-end2end は、ニュース、会話データ、および科学的リサーチ（例：COVID-19）といった多様なドメインに一般化可能で、一貫した性能向上を示せるか？
• RQ5 SQuAD などのドメイン内データセットにおいても、エンドツーエンドトレーニングが性能向上をもたらすのか、元のRAGがWikipediaで事前学習済みであるにもかかわらず。

主な発見

• SQuAD データセットにおいて、RAG-end2end は正確一致（EM）スコアで11.9ポイントの絶対的向上（28.12 → 40.02）と、F1スコアで13.21ポイントの上昇（39.42 → 52.63）を達成した。
• COVID-19 データセットでは、元のRAGを著しく上回り、ドメイン固有の知識を活用した科学的質問応答において優れた性能を示した。
• 補助的再構成信号は、評価した全ドメインにおいてリトリーバーの性能と最終的な回答生成の正確性の両方を向上させた。
• リトリーバーとジェネレーターを共同でトレーニングすることで、DPRリトリーバーを個別に微調整するのと比較して、より高い性能が得られ、エンドツーエンド最適化の重要性が示された。
• トレーニング中に知識ベースのエンコーディングを更新することで、性能の低下を防ぎ、特にWikipediaベースでない知識ベースではドメイン適応性が向上した。
• 本手法は多様なドメインにわたって良好に一般化され、ニュース、会話、およびバイオメディカルデータセットにおいて、リトリーブ（Top-5 および Top-20）と生成（EM、F1）のメトリクスに一貫した向上を示した。