[논문 리뷰] RETA-LLM: A Retrieval-Augmented Large Language Model Toolkit

Jiongnan Liu, Jiajie Jin외 4명|arXiv (Cornell University)|2023. 06. 08.

Topic Modeling인용 수 12

한 줄 요약

RETA-LLM은 다섯 가지 플러그인 구성요소를 갖춘 모듈식 검색-증강 LLM 툴킷으로, 외부 지식 검색을 통해 사실성(factuality)을 향상시키고 도메인 내 질문 answering을 가능하게 합니다. 또한 도구를 완비한 파이프라인과 도메인 맞춤형 LLM 시스템 구축을 위한 오픈 소스 이용 가능성을 제공합니다.

ABSTRACT

Although Large Language Models (LLMs) have demonstrated extraordinary capabilities in many domains, they still have a tendency to hallucinate and generate fictitious responses to user requests. This problem can be alleviated by augmenting LLMs with information retrieval (IR) systems (also known as retrieval-augmented LLMs). Applying this strategy, LLMs can generate more factual texts in response to user input according to the relevant content retrieved by IR systems from external corpora as references. In addition, by incorporating external knowledge, retrieval-augmented LLMs can answer in-domain questions that cannot be answered by solely relying on the world knowledge stored in parameters. To support research in this area and facilitate the development of retrieval-augmented LLM systems, we develop RETA-LLM, a {RET}reival-{A}ugmented LLM toolkit. In RETA-LLM, we create a complete pipeline to help researchers and users build their customized in-domain LLM-based systems. Compared with previous retrieval-augmented LLM systems, RETA-LLM provides more plug-and-play modules to support better interaction between IR systems and LLMs, including {request rewriting, document retrieval, passage extraction, answer generation, and fact checking} modules. Our toolkit is publicly available at https://github.com/RUC-GSAI/YuLan-IR/tree/main/RETA-LLM.

연구 동기 및 목표

• 외부 정보 검색을 활용하여 LLM의 망상을 줄일 필요성에 동기를 부여한다.
• 일반 LLM 기능을 넘어 도메인 적용에 초점을 맞춘 검색-증강 LLM 툴킷을 제안한다.
• IR 시스템과 LLM을 깔끔하게 분리해 맞춤화를 쉽게 하는 플러그-앤-플레이 아키텍처를 제공한다.
• HTML 자원을 기반으로 도메인 특화 LLM 서비스를 구축할 수 있는 완전한 사용 파이프라인을 제공한다.

제안 방법

• 다섯 개의 모듈형 플러그인(요청 재작성, 문서 검색, 구절 추출, 답변 생성, 사실 점검)을 도입한다.
• 검색된 문서가 답변 생성을 안내하는 검색-증강 생성 워크플로를 설명한다.
• 참고 자료를 요약하기 위해 검색된 문서에서 관련 구절을 sliding window 전략으로 추출한다.
• 검색 엔진과 LLM의 분리를 통해 검색 엔진과 LLM의 맞춤화를 용이하게 한다.
• HTML 자원을 조밀/희소 검색 설정 및 LLM 질의 응답으로 변환하는 사용 가능한 파이프라인을 제공한다.
• YuLan-13B를 백본으로 사용하는 예시 배포(RUC-등록 어시스턴트)를 제공한다.

실험 결과

연구 질문

• RQ1 검색-증강 LLM이 도메인 내 질문에 대한 유연성을 유지하면서 망상을 최소화하도록 어떻게 설계할 수 있는가?
• RQ2 외부 검색 시스템과 LLM 간의 상호작용을 가장 잘 지원하는 모듈식 설계와 워크플로우는 무엇인가?
• RQ3 완전하고 사용하기 쉬운 파이프라인이 연구자들이 HTML 자원에서 도메인 특화 LLM 서비스를 구축하도록 가능하게 하는가?
• RQ4 IR과 LLM 구성요소를 분리하는 것이 도메인 내 응용에서 맞춤화와 성능에 어떤 영향을 미치는가?

주요 결과

• 다섯 개의 독립 모듈이 IR 시스템과 LLM 간의 모듈식 상호작용을 가능하게 한다.
• 완전한 파이프라인은 사용자가 자신의 저장소에서 도메인 내 LLM 기반 시스템을 구축하는 데 도움이 된다.
• 시스템은 밀도 검색과 YuLan-13B를 백본으로 사용하는 사례 연구(RUC-등록 어시스턴트)를 시연한다.
• IR과 LLM의 분리를 강조하여 검색 엔진과 LLM의 맞춤화를 촉진한다.
• 도구 키트는 오픈 소스이며 기여 및 미래 검색 전략과 함께 진화하도록 의도되어 있다.