[论文解读] Enhancing Retrieval and Managing Retrieval: A Four-Module Synergy for Improved Quality and Efficiency in RAG Systems

Yunxiao Shi, Xing Zi+4 more|arXiv (Cornell University)|Jul 15, 2024

AI-based Problem Solving and Planning被引用 4

一句话总结

本文提出了一种四模块协同机制——Query Rewriter+、Knowledge Filter、Memory Knowledge Reservoir 和 Retrieval Trigger——以提升检索增强生成（RAG）系统中的检索质量与系统效率。通过生成多个意图清晰的查询、过滤无关知识、缓存历史结果以及动态触发检索，该框架在六个问答基准测试中提升了事实准确性并减少了冗余计算。

ABSTRACT

Retrieval-augmented generation (RAG) techniques leverage the in-context learning capabilities of large language models (LLMs) to produce more accurate and relevant responses. Originating from the simple 'retrieve-then-read' approach, the RAG framework has evolved into a highly flexible and modular paradigm. A critical component, the Query Rewriter module, enhances knowledge retrieval by generating a search-friendly query. This method aligns input questions more closely with the knowledge base. Our research identifies opportunities to enhance the Query Rewriter module to Query Rewriter+ by generating multiple queries to overcome the Information Plateaus associated with a single query and by rewriting questions to eliminate Ambiguity, thereby clarifying the underlying intent. We also find that current RAG systems exhibit issues with Irrelevant Knowledge; to overcome this, we propose the Knowledge Filter. These two modules are both based on the instruction-tuned Gemma-2B model, which together enhance response quality. The final identified issue is Redundant Retrieval; we introduce the Memory Knowledge Reservoir and the Retriever Trigger to solve this. The former supports the dynamic expansion of the RAG system's knowledge base in a parameter-free manner, while the latter optimizes the cost for accessing external knowledge, thereby improving resource utilization and response efficiency. These four RAG modules synergistically improve the response quality and efficiency of the RAG system. The effectiveness of these modules has been validated through experiments and ablation studies across six common QA datasets. The source code can be accessed at https://github.com/Ancientshi/ERM4.

研究动机与目标

• 解决RAG系统中单查询检索的局限性，后者常因信息瓶颈和意图对齐不佳而表现受限。
• 通过过滤从外部源检索到的无关知识，减少响应噪声并提升事实准确性。
• 通过缓存频繁访问的知识并动态管理外部数据检索时机，减轻冗余检索。
• 通过无参数的记忆存储库和检索触发机制，提升系统效率与可扩展性。
• 将上述模块整合为模块化RAG流水线，构建灵活且高性能的问答系统。

提出的方法

• 提出Query Rewriter+——一个微调过的Gemma-2B模型，可在单次推理中同时生成多个语义多样化的查询，并澄清输入问题中的模糊意图。
• 基于自然语言蕴含（NLI）构建Knowledge Filter模块，同样在Gemma-2B上进行微调，用于评估并过滤无关的检索段落。
• 引入非参数化的Memory Knowledge Reservoir，用于缓存并重用历史见过的问答对，避免冗余的外部检索。
• 设计检索触发机制，利用动态阈值判断何时访问外部知识，以优化成本与延迟。
• 将四个模块整合为统一的RAG流水线，将基础的“检索-然后阅读”流程替换为协同的多阶段处理流程。
• 使用标注数据集进行监督微调训练与评估，所有模型均基于指令微调过的Gemma-2B架构。

实验结果

研究问题

• RQ1 从单个输入问题生成多个多样化查询，是否能显著提升RAG系统的检索覆盖率并减少信息瓶颈？
• RQ2 统一的查询重写与澄清模块在多大程度上能提升意图理解能力并减少用户问题中的模糊性？
• RQ3 基于微调NLI的Knowledge Filter在去除检索段落中的无关或噪声上下文方面有多有效，能否提升响应质量？
• RQ4 无参数的记忆存储库是否能在不增加模型参数的前提下，减少冗余检索并提升响应效率？
• RQ5 在动态RAG系统中，检索触发机制的何种阈值策略能最优平衡准确性与效率？

主要发现

• Query Rewriter+模块通过生成多个语义上不同的查询，显著提升了检索质量，增加了检索到相关答案关键词的可能性。
• Knowledge Filter模块通过过滤无关的检索段落，减少了响应噪声，提升了大语言模型生成答案的事实准确性和鲁棒性。
• Memory Knowledge Reservoir通过缓存并重用历史检索的知识，减少了冗余的外部检索，提升了系统效率。
• Retrieval Trigger机制动态控制外部知识的访问时机，减少了不必要的调用，优化了资源利用。
• 在六个常见问答数据集上的消融实验表明，完整的四模块系统相比基线RAG流水线，在响应质量和效率方面均表现更优。
• 所提出的框架通过确保仅使用相关且高质量的信息进行生成，提升了事实一致性并减少了幻觉现象。