[论文解读] SimplyRetrieve: A Private and Lightweight Retrieval-Centric Generative AI Tool

Youyang Ng, Daisuke Miyashita+5 more|arXiv (Cornell University)|Aug 8, 2023

Privacy-Preserving Technologies in Data被引用 5

一句话总结

SimplyRetrieve 是一款开源、轻量级且保护隐私的工具，可在无需微调的情况下，利用大语言模型（LLM）实现以检索为中心的生成（RCG）。通过将上下文理解（由 LLM 处理）与知识记忆（由检索器管理）分离，RCG 提升了事实准确性，减少了幻觉现象，并加快了推理速度——相比基线 LLM，响应 token 数量减少了 36%，推理速度提升了 30%，Rouge-L 分数从基线的 0.186（ROG）提升至 0.413（RCG）。

ABSTRACT

Large Language Model (LLM) based Generative AI systems have seen significant progress in recent years. Integrating a knowledge retrieval architecture allows for seamless integration of private data into publicly available Generative AI systems using pre-trained LLM without requiring additional model fine-tuning. Moreover, Retrieval-Centric Generation (RCG) approach, a promising future research direction that explicitly separates roles of LLMs and retrievers in context interpretation and knowledge memorization, potentially leads to more efficient implementation. SimplyRetrieve is an open-source tool with the goal of providing a localized, lightweight, and user-friendly interface to these sophisticated advancements to the machine learning community. SimplyRetrieve features a GUI and API based RCG platform, assisted by a Private Knowledge Base Constructor and a Retrieval Tuning Module. By leveraging these capabilities, users can explore the potential of RCG for improving generative AI performance while maintaining privacy standards. The tool is available at https://github.com/RCGAI/SimplyRetrieve with an MIT license.

研究动机与目标

• 通过为开发者和研究人员提供一个用户友好、可本地部署的平台，实现以检索为中心的生成（RCG）的普及化。
• 通过明确分离 LLM 与检索器的角色，解决标准 LLM 在记忆长尾事实知识方面的局限性，并减少幻觉现象。
• 通过使用私有知识库和检索调优，实现在设备端的私有部署，避免依赖基于云的 LLM。
• 探索 RCG 相较于传统检索增强生成（RAG）和零样本提示工程在性能、效率和可解释性方面的优势。
• 通过在受控且保护隐私的环境中促进提示工程与检索优化，支持更安全、更具责任感的 AI 发展。

提出的方法

• 实现基于 GUI 和 API 的接口，支持端到端的 RCG 工作流，使用户能够通过检索到的知识与 LLM 交互，而无需对模型进行微调。
• 引入私有知识库构建器，允许用户构建和管理特定领域的、本地存储的知识库仓库。
• 集成检索调优模块，以优化检索质量和相关性，提升下游生成性能。
• 支持知识库混合模式（MoKB），实现动态组合多个知识源，提升覆盖范围和准确性。
• 应用显式提示权重（EPW）以控制注入提示中的检索知识量，实验表明 50% 的 EPW 可维持事实一致性。
• 采用 Llama-2-13B-chat 作为 LLM 的骨干模型，并通过自建数据集上的 Rouge-L 分数和推理时间评估性能。

实验结果

研究问题

• RQ1 与标准的零样本提示工程相比，以检索为中心的方法是否能显著减少 LLM 生成响应中的幻觉？
• RQ2 在事实准确性、响应长度和推理速度方面，RCG 与传统 RAG 和直接 LLM 提示（ROG）相比表现如何？
• RQ3 当使用 RCG 时，一个 13B 参数的 LLM 在未见过的知识上无需微调，能否生成准确且事实正确的响应？
• RQ4 显式提示权重（EPW）在 RCG 中平衡检索影响与生成质量方面的有效性如何？
• RQ5 轻量级、本地托管的 RCG 系统是否能在保持数据隐私和降低计算开销的同时，实现具有竞争力的性能？

主要发现

• RCG 的 Rouge-L 分数达到 0.413，显著优于基线 ROG（0.186）和 RAG（0.359），证明其在事实生成准确性方面具有优势。
• 尽管因注入知识导致提示变长，RCG 相较于 ROG 平均响应 token 数量仍减少了 36%，表明生成更加简洁且聚焦。
• RCG 将平均推理时间缩短至每查询 11.67 秒，相比 ROG 的 17.22 秒提升了 32%，表明在输入上下文更长的情况下仍具备更高效率。
• 采用 50% 显式提示权重（RCG-EPW）时，模型在保持事实准确性的同时生成了部分响应，表明完整性和可靠性之间存在权衡。
• RCG 方法有效缓解了幻觉问题——ROG 生成了关于 Kioxia 图像分类工作的幻觉响应，而 RCG 正确地将其归因于大容量存储技术的发展。
• 即使是一个 13B 参数的 LLM，在未微调的情况下于 RCG 中对未见过的事实知识也表现出强劲性能，表明其在隐私敏感环境中的实际部署可行性。