[论文解读] RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit

Jiongnan Liu, Jiajie Jin+4 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用 12

一句话总结

RETA-LLM 提供一个模块化的检索增强大模型工具包，包含五个插件组件，以提高事实性并通过外部知识检索实现领域内问题解答。它提供完整的管道和开源可用性，用于构建定制的领域内LLM系统。

ABSTRACT

Although Large Language Models (LLMs) have demonstrated extraordinary capabilities in many domains, they still have a tendency to hallucinate and generate fictitious responses to user requests. This problem can be alleviated by augmenting LLMs with information retrieval (IR) systems (also known as retrieval-augmented LLMs). Applying this strategy, LLMs can generate more factual texts in response to user input according to the relevant content retrieved by IR systems from external corpora as references. In addition, by incorporating external knowledge, retrieval-augmented LLMs can answer in-domain questions that cannot be answered by solely relying on the world knowledge stored in parameters. To support research in this area and facilitate the development of retrieval-augmented LLM systems, we develop RETA-LLM, a {RET}reival-{A}ugmented LLM toolkit. In RETA-LLM, we create a complete pipeline to help researchers and users build their customized in-domain LLM-based systems. Compared with previous retrieval-augmented LLM systems, RETA-LLM provides more plug-and-play modules to support better interaction between IR systems and LLMs, including {request rewriting, document retrieval, passage extraction, answer generation, and fact checking} modules. Our toolkit is publicly available at https://github.com/RUC-GSAI/YuLan-IR/tree/main/RETA-LLM.

研究动机与目标

• 通过利用外部信息检索来降低LLM幻觉的必要性。
• 提出一个面向领域内应用、超越通用 LLM 能力的检索增强 LLM 工具包。
• 提供一个即插即用的架构，清晰地将IR系统与LLMs解耦，便于定制。
• 提供一个完整的使用管线，使研究人员能够从HTML资源构建领域特定的LLM服务。

提出的方法

• 引入五个模块化插件：请求改写、文档检索、段落提取、答案生成和事实核查。
• 描述一个检索增强生成的工作流，在其中检索到的文档引导答案的产生。
• 使用滑动窗口策略从检索到的文档中提取相关段落以进行参考综合。
• 将IR和LLM组件解耦，以便定制搜索引擎和LLMs。
• 提供一个现成可用的管线，将HTML资源转换为密集/稀疏检索设置和LLM问答。
• 提供一个示例部署（RUC-enrollment-assistant），以 YuLan-13B 为骨干。

实验结果

研究问题

• RQ1 如何设计检索增强的LLM，在尽量减少幻觉的同时，仍对领域内问题保持灵活性？
• RQ2 哪种模块化设计与工作流最能支持外部检索系统与LLMs之间的交互？
• RQ3 一个完整、易用的管线是否能够让研究人员从HTML资源构建领域特定的LLM服务？
• RQ4 将IR与LLM组件解耦对领域内应用的定制性和性能有何影响？

主要发现

• 五个独立模块实现了IR系统与LLMs之间的模块化交互。
• 完整管道帮助用户从自己的资源库构建基于领域内的LLM系统。
• 该系统展示了一个案例研究（RUC-enrollment-assistant），以密集检索和 YuLan-13B 为骨干。
• 该方法强调解耦IR和LLMs以促进搜索引擎和LLMs的定制。
• 该工具包是开源的，旨在通过贡献和未来检索策略发展。