[论文解读] Improving the Domain Adaptation of Retrieval Augmented Generation (RAG) Models for Open Domain Question Answering

Shamane Siriwardhana, Rivindu Weerasekera+4 more|arXiv (Cornell University)|Oct 6, 2022

Topic Modeling被引用 10

一句话总结

本文提出 RAG-end2end，一种联合训练框架，通过使用特定领域的知识库对检索器和生成器组件进行微调，并引入辅助重建信号以注入领域特定知识。该方法在三个领域——新冠疫情、新闻和对话——中显著提升了性能，优于原始 RAG 模型在检索和答案生成任务中的表现。

ABSTRACT

Retrieval Augment Generation (RAG) is a recent advancement in Open-Domain Question Answering (ODQA). RAG has only been trained and explored with a Wikipedia-based external knowledge base and is not optimized for use in other specialized domains such as healthcare and news. In this paper, we evaluate the impact of joint training of the retriever and generator components of RAG for the task of domain adaptation in ODQA. We propose extit{RAG-end2end}, an extension to RAG, that can adapt to a domain-specific knowledge base by updating all components of the external knowledge base during training. In addition, we introduce an auxiliary training signal to inject more domain-specific knowledge. This auxiliary signal forces extit{RAG-end2end} to reconstruct a given sentence by accessing the relevant information from the external knowledge base. Our novel contribution is unlike RAG, RAG-end2end does joint training of the retriever and generator for the end QA task and domain adaptation. We evaluate our approach with datasets from three domains: COVID-19, News, and Conversations, and achieve significant performance improvements compared to the original RAG model. Our work has been open-sourced through the Huggingface Transformers library, attesting to our work's credibility and technical consistency.

研究动机与目标

• 为解决 RAG 模型在主要基于维基百科训练时领域适应能力有限的问题，这些模型在医疗和新闻等专业领域表现不佳。
• 探究检索器和生成器组件的联合微调是否能提升特定领域开放域问答（ODQA）中的性能。
• 评估强制模型从检索到的特定领域文本片段中重建句子的辅助训练信号的影响。
• 证明在训练过程中更新外部知识库嵌入可实现更好的泛化能力，并减少性能下降，相较于固定编码。

提出的方法

• 提出 RAG-end2end，一种端到端训练框架，联合微调密集段落检索器（DPR）、生成器（BART）以及训练过程中的外部知识库嵌入。
• 引入一种重建辅助信号，训练模型从一组检索到的段落中生成事实性句子，以增强领域特定知识的学习。
• 使用特定领域的知识库（如新冠疫情研究论文、新闻文章、对话数据）并将其划分为 100 个词的段落以供检索。
• 在训练过程中采用异步更新知识库嵌入，避免每次更新后重新编码整个语料库。
• 使用问题-答案对和检索到的段落进行端到端训练，无需合成的 QA 对。
• 利用 Hugging Face Transformers 库进行开源实现，确保可复现性并促进社区采纳。

实验结果

研究问题

• RQ1 在非维基百科领域中，检索器和生成器组件的联合微调是否能提升 RAG 模型的领域适应能力？
• RQ2 在特定领域开放域问答中，句子重建辅助信号的引入对检索器和生成器性能有何影响？
• RQ3 与冻结编码相比，在训练过程中更新知识库编码的影响是什么？
• RQ4 RAG-end2end 是否能在新闻、对话数据和科学文献（如新冠疫情）等多样化领域中实现一致的性能提升？
• RQ5 即使在 SQuAD 等本领域数据集上，端到端训练是否仍能提升性能，尽管原始 RAG 已在维基百科上预训练？

主要发现

• 与原始 RAG 相比，RAG-end2end 在 SQuAD 数据集上的精确匹配（EM）得分提高了 11.9 个百分点（从 28.12 提升至 40.02），F1 得分提高了 13.21 个百分点（从 39.42 提升至 52.63）。
• 在新冠疫情数据集上，RAG-end2end 显著优于原始 RAG，展现出在科学问题问答中使用领域特定知识的优越性能。
• 辅助重建信号在所有评估领域中均提升了检索器性能和最终答案生成的准确性。
• 检索器和生成器的联合训练优于独立微调 DPR 检索器，凸显了端到端优化的重要性。
• 在训练过程中更新知识库编码可防止性能下降，并增强领域适应能力，尤其当知识库非维基百科来源时更为显著。
• 该方法在多样化领域中泛化良好，在新闻、对话和生物医学数据集上均表现出一致的性能提升，体现在检索（Top-5 和 Top-20）和生成（EM、F1）指标上。