[論文レビュー] RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit

Jiongnan Liu, Jiajie Jin+4 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 12

ひとこと要約

RETA-LLM は、事実性を向上させ、外部知識検索を通じてドメイン内の質問応答を可能にする five plug-in components を備えたモジュール型 retrieval-augmented LLM ツールキットです。完全なパイプラインと、カスタマイズされた in-domain LLM システムを構築するためのオープンソース提供を行います。

ABSTRACT

Although Large Language Models (LLMs) have demonstrated extraordinary capabilities in many domains, they still have a tendency to hallucinate and generate fictitious responses to user requests. This problem can be alleviated by augmenting LLMs with information retrieval (IR) systems (also known as retrieval-augmented LLMs). Applying this strategy, LLMs can generate more factual texts in response to user input according to the relevant content retrieved by IR systems from external corpora as references. In addition, by incorporating external knowledge, retrieval-augmented LLMs can answer in-domain questions that cannot be answered by solely relying on the world knowledge stored in parameters. To support research in this area and facilitate the development of retrieval-augmented LLM systems, we develop RETA-LLM, a {RET}reival-{A}ugmented LLM toolkit. In RETA-LLM, we create a complete pipeline to help researchers and users build their customized in-domain LLM-based systems. Compared with previous retrieval-augmented LLM systems, RETA-LLM provides more plug-and-play modules to support better interaction between IR systems and LLMs, including {request rewriting, document retrieval, passage extraction, answer generation, and fact checking} modules. Our toolkit is publicly available at https://github.com/RUC-GSAI/YuLan-IR/tree/main/RETA-LLM.

研究の動機と目的

• 外部情報検索を活用して LLM の幻覚を減らす必要性を動機づける。
• 一般的な LLM の能力を超える、ドメイン内アプリケーションに焦点を当てた retrieval-augmented LLM ツールキットを提案する。
• IR システムと LLM を容易にカスタマイズできるように、プラグアンドプレー方式のアーキテクチャを提供する。
• HTML リソースからドメイン特化の LLM サービスを構築できる、完全な使用パイプラインを提供する。

提案手法

• request rewriting, document retrieval, passage extraction, answer generation, and fact checking の five modular plug-ins を導入する。
• 取得した文書が回答の生成を導く retrieval-augmented generation ワークフローを説明する。
• 参照合成のために、取得した文書から関連箇所を抽出するスライディングウィンドウ戦略を用いる。
• 検索エンジンと LLM のカスタマイズを容易にするために、IR と LLM の構成を分離する。
• HTML リソースを dense/sparse retrieval 設定と LLM 質問応答へ変換するための ready-to-use パイプラインを提供する。
• YuLan-13B をバックボーンとして、例となるデプロイメント（RUC-enrollment-assistant）を提供する。

実験結果

リサーチクエスチョン

• RQ1 retrieval-augmented LLMs を、ドメイン内の質問に柔軟に対応しつつ、幻覚を最小限に抑えるように設計するにはどうすればよいか？
• RQ2 外部の検索システムと LLM との相互作用を最も効果的にサポートするモジュラーデザインとワークフローは何か？
• RQ3 完全で使いやすいパイプラインは、研究者がHTMLリソースからドメイン特化の LLM サービスを構築することを可能にするか？
• RQ4 IR と LLM の分離が、ドメイン内アプリケーションのカスタマイズとパフォーマンスに及ぼす影響は何か？

主な発見

• Five independent modules enable modular interaction between IR systems and LLMs.
• A complete pipeline helps users build in-domain LLM-based systems from their own repositories.
• The system demonstrates a case study (RUC-enrollment-assistant) using dense retrieval and YuLan-13B as the backbone.
• The approach emphasizes disentanglement of IR and LLMs to facilitate customization of search engines and LLMs.
• The toolkit is open source and intended to evolve with contributions and future retrieval strategies.