[论文解读] Developing Retrieval Augmented Generation (RAG) based LLM Systems from PDFs: An Experience Report

Ayub Khan, Md. Toufique Hasan+3 more|arXiv (Cornell University)|Oct 21, 2024

Digital Rights Management and Security被引用 5

一句话总结

本体验报告记录了构建以 PDF 文档为知识库的 RAG 系统，详细介绍端到端的工作流、挑战，以及在 OpenAI 与 Llama 实现中的实际解决方案。

ABSTRACT

This paper presents an experience report on the development of Retrieval Augmented Generation (RAG) systems using PDF documents as the primary data source. The RAG architecture combines generative capabilities of Large Language Models (LLMs) with the precision of information retrieval. This approach has the potential to redefine how we interact with and augment both structured and unstructured knowledge in generative models to enhance transparency, accuracy, and contextuality of responses. The paper details the end-to-end pipeline, from data collection, preprocessing, to retrieval indexing and response generation, highlighting technical challenges and practical solutions. We aim to offer insights to researchers and practitioners developing similar systems using two distinct approaches: OpenAI's Assistant API with GPT Series and Llama's open-source models. The practical implications of this research lie in enhancing the reliability of generative AI systems in various sectors where domain-specific knowledge and real-time information retrieval is important. The Python code used in this work is also available at: https://github.com/GPT-Laboratory/RAG-LLM-Development-Guidebook-from-PDFs.

研究动机与目标

• 演示一个以 PDF 为主要知识来源的端到端 RAG 流水线。
• 突出设计选择、数据预处理和检索增强生成以提升准确性和透明度。
• 比较两条 RAG 实现路径：通过 Assistant API 使用 OpenAI 的 GPT 系列，以及一个开源的 Llama 模型。
• 识别 PDF 处理中的技术挑战，并提出可用于可靠部署的实用解决方案。
• 为从业者在数据、资源和安全性考量基础上选择策略提供指南。

提出的方法

• 描述从数据收集到最终响应生成的 RAG 架构与工作流。
• 详述用于 PDF 的预处理和分块策略，以实现有效检索。
• 解释向量嵌入的创建与在向量存储中的存储，以实现快速相似性检索。
• 提出两种实现路径：使用 OpenAI Assistant API 的 GPT 系列，以及可定制选项的开源 Llama。
• 概述试点评估和工作坊反馈，以完善检索与生成的整合。
• 提供逐步的设置指南和面向代码的实践，以部署 RAG 系统。

实验结果

研究问题

• RQ1 如何有效处理并分块 PDF 以支持检索增强生成？
• RQ2 在使用 OpenAI GPT 基于的 RAG 与基于开源 Llama 的方法之间，实际取舍有哪些？
• RQ3 在基于 PDF 的 RAG 系统中，哪些设计考虑可以提升透明度、准确性和延迟？
• RQ4 在现实世界领域中部署含 PDF 的 RAG 时，哪些工作流与工具最为有效？

主要发现

• 基于 PDF 的 RAG 系统可以通过从向量存储中检索相关段落来将生成的回答锚定在当前的、领域特定的信息上。
• 两种部署路径是可行的：OpenAI 的 Assistant API 提供易用性和强大的通用能力，而 Llama 提供更大的定制和控制。
• PDF 处理挑战包括复杂布局和 OCR 错误，这需要谨慎的预处理、分块和元数据利用。
• 向量存储实现快速、语义上有意义的检索，能够将精确来源纳入 LLM 的上下文。
• 工作流决策（如数据获取、嵌入创建和检索增强）显著影响输出的准确性和透明度。
• 在专有 API 与开源部署之间，安全与数据处理考量存在差异，影响隐私和控制。