[论文解读] FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research

Jiajie Jin, Yutao Zhu+8 more|arXiv (Cornell University)|May 22, 2024

Recommender Systems and Techniques被引用 8

一句话总结

FlashRAG 是一个开源的模块化工具包，能够在12种实现方法和32个基准数据集的基础上进行可重复的检索增强生成研究，同时提供可重复使用的流水线与评估工具。

ABSTRACT

With the advent of large language models (LLMs) and multimodal large language models (MLLMs), the potential of retrieval-augmented generation (RAG) has attracted considerable research attention. Various novel algorithms and models have been introduced to enhance different aspects of RAG systems. However, the absence of a standardized framework for implementation, coupled with the inherently complex RAG process, makes it challenging and time-consuming for researchers to compare and evaluate these approaches in a consistent environment. Existing RAG toolkits, such as LangChain and LlamaIndex, while available, are often heavy and inflexibly, failing to meet the customization needs of researchers. In response to this challenge, we develop \ours{}, an efficient and modular open-source toolkit designed to assist researchers in reproducing and comparing existing RAG methods and developing their own algorithms within a unified framework. Our toolkit has implemented 16 advanced RAG methods and gathered and organized 38 benchmark datasets. It has various features, including a customizable modular framework, multimodal RAG capabilities, a rich collection of pre-implemented RAG works, comprehensive datasets, efficient auxiliary pre-processing scripts, and extensive and standard evaluation metrics. Our toolkit and resources are available at https://github.com/RUC-NLPIR/FlashRAG.

研究动机与目标

• 在检索增强生成（RAG）研究中推动标准化与可重复性。
• 提供一个模块化、便于研究者使用的框架，以复现实验室现有的 RAG 方法并构建新方法。
• 提供全面的基准套件和预处理脚本以简化实验流程。
• 提供自动化评估指标和支持多种 RAG 工作流的流水线系统。

提出的方法

• 两层模块化设计：组件层（Judger、Retriever、Reranker、Refiner、Generator）与流水线层（8 种常用的 RAG 流水线）。
• 预先实现的高级 RAG 算法（12 种方法）覆盖序列、条件、分支和循环等类别。
• 32 个基准数据集已预处理为统一的 JSONL 格式并托管在 HuggingFace。
• 用于语料库准备、索引构建和检索结果处理的高效辅助脚本（包括检索缓存）。
• 与主流 LLM 工具链（vLLM、FastChat、Transformers）集成，并支持 FiD 风格的解码以优化推理。

实验结果

研究问题

• RQ1 一个模块化工具包如何标准化并加速 RAG 方法的开发与评估？
• RQ2 不同组件和流水线设计如何影响在不同数据集上的 RAG 性能？
• RQ3 检索数量和检索器质量对整体 RAG 性能的影响如何？
• RQ4 研究人员是否能在统一框架内复现并公平比较现有 RAG 方法？

主要发现

优化	管道	NQ	TriviaQA	HotpotQA	2Wiki	PopQA	WebQA
Naive Generation	Sequential	22.6	55.7	28.4	33.9	21.7	18.8
Standard RAG	Sequential	35.1	58.8	35.3	21.0	36.7	15.7
AAR [72]	Sequential	30.1	56.8	33.4	19.8	36.1	16.1
LongLLMLingua [20]	Sequential	32.2	59.2	37.5	25.0	38.7	17.5
RECOMP-abstractive [18]	Sequential	33.1	56.4	37.5	32.4	39.9	20.2
Selective-Context [21]	Sequential	30.5	55.6	34.4	18.5	33.5	17.3
Ret-Robust* [73]	Sequential	42.9	68.2	35.8	43.4	57.2	9.1
SuRe [29]	Branching	37.1	53.2	33.4	20.6	48.1	24.2
REPLUG [28]	Branching	28.9	57.7	31.2	21.1	27.8	20.2
SKR [10]	Conditional	25.5	55.9	29.8	28.5	24.5	18.6
Self-RAG* [33]	Loop	36.4	38.2	29.6	25.1	32.7	21.9
FLARE [34]	Loop	22.5	55.8	28.0	33.9	20.7	20.2
Iter-RetGen [30], ITRG [31]	Loop	36.8	60.1	38.3	21.6	37.9	18.2

• RAG 方法在多个数据集上显著优于 naïve 生成基线。
• Refiners 在多跳数据集（如 HotpotQA 和 2WikiMultihopQA）上带来显著提升。
• 自适应或基于循环的 RAG 流（如 Self-RAG、Iter-RetGen、SuRe、FLARE）在复杂任务上比简单数据集带来更大改进。
• 检索文档数量对性能影响很大，通常前3 或前5 的设置在质量与噪声之间取得最佳平衡。
• Ret-Robust 等以生成器为中心的方法可以显著提升结果，凸显优化特定 RAG 组件的好处。
• 总体而言，FlashRAG 能在统一设置下实现公平基准测试并复现实验室现有方法。