[论文解读] DR-RAG: Applying Dynamic Document Relevance to Retrieval-Augmented Generation for Question-Answering

Zijian Hei, Weiling Liu+6 more|arXiv (Cornell University)|Jun 11, 2024

Topic Modeling被引用 4

一句话总结

DR-RAG 提出了一种两阶段检索增强生成框架，通过动态识别高度相关（静态）和相关性较低但关键（动态）的文档，提升了多跳问答任务中的答案准确率。通过使用轻量级分类器基于查询-文档相关性过滤并选择文档，DR-RAG 在仅调用大语言模型（LLM）一次的情况下，提升了检索召回率和答案精确度，从而在多跳问答基准测试中取得了最先进性能。

ABSTRACT

Retrieval-Augmented Generation (RAG) has recently demonstrated the performance of Large Language Models (LLMs) in the knowledge-intensive tasks such as Question-Answering (QA). RAG expands the query context by incorporating external knowledge bases to enhance the response accuracy. However, it would be inefficient to access LLMs multiple times for each query and unreliable to retrieve all the relevant documents by a single query. We have found that even though there is low relevance between some critical documents and query, it is possible to retrieve the remaining documents by combining parts of the documents with the query. To mine the relevance, a two-stage retrieval framework called Dynamic-Relevant Retrieval-Augmented Generation (DR-RAG) is proposed to improve document retrieval recall and the accuracy of answers while maintaining efficiency. Additionally, a compact classifier is applied to two different selection strategies to determine the contribution of the retrieved documents to answering the query and retrieve the relatively relevant documents. Meanwhile, DR-RAG call the LLMs only once, which significantly improves the efficiency of the experiment. The experimental results on multi-hop QA datasets show that DR-RAG can significantly improve the accuracy of the answers and achieve new progress in QA systems.

研究动机与目标

• 解决现有 RAG 系统在多跳问答任务中难以检索到相关性较低但关键文档的局限性。
• 通过区分静态相关与动态相关文档，提升检索召回率与答案准确率。
• 通过减少冗余或无关文档的检索，降低效率损失与幻觉现象。
• 通过两阶段检索与基于分类器的选择策略，仅对每个查询调用一次 LLM，从而保持高效率。

提出的方法

• 两阶段检索框架：首先通过相似度匹配基于查询嵌入检索初始文档集。
• 其次，通过查询-文档拼接挖掘更深层次的相关性，尤其适用于动态相关文档。
• 轻量级分类器使用预设阈值评估文档相关性，以判断其对答案生成的贡献。
• 采用前向选择与反向选择两种策略，优化检索文档集并减少冗余。
• 最终文档集仅输入 LLM 一次，确保高推理效率。
• 该框架将动态相关性挖掘整合至 RAG 中，显著提升复杂多跳问答任务的性能。

实验结果

研究问题

• RQ1 两阶段检索方法是否能提升多跳问答中关键但相关性较低文档的召回率？
• RQ2 如何有效衡量并利用查询与文档之间的动态相关性？
• RQ3 轻量级分类器在不增加推理成本的前提下，能在多大程度上提升文档选择质量？
• RQ4 减少冗余文档检索是否能提升基于 LLM 的问答系统答案准确率？
• RQ5 结合智能文档检索与过滤，单次 LLM 调用是否能实现最先进性能？

主要发现

• DR-RAG 通过有效检索通常被标准 RAG 忽略的动态相关文档，在多跳问答数据集上显著提升了答案准确率。
• 与基线 RAG 及查询依赖检索（QDC）方法相比，DR-RAG 在复杂多跳问题上展现出更高的检索召回率。
• 采用轻量级分类器并结合前向与反向选择策略，有效减少了无关文档的引入，提升了答案质量。
• 通过仅调用一次 LLM，DR-RAG 在保持高推理效率的同时，优于多轮调用的 RAG 基线模型。
• 在 HotpotQA 的案例研究中，DR-RAG 成功检索到关键文档（如 Caroline LeRoy 的配偶），而其他方法因直接相关性低而未能识别。
• 该框架在多跳问答基准上展现出最先进性能，标志着基于 LLM 的问答系统取得新进展。