[논문 리뷰] LitLLM: A Toolkit for Scientific Literature Review

Shubham Agarwal, Sahu, Gaurav외 6명|arXiv (Cornell University)|2024. 02. 02.

Biomedical Text Mining and Ontologies인용 수 9

한 줄 요약

LitLLM은 모듈식 Retrieval Augmented Generation (RAG) 도구세트를 제시합니다. 사용자 제공 초록에서 시작해 키워드 기반 검색, LLM 기반 재정렬, 계획 기반 생성을 사용하여 환각(hallucinations)을 줄이면서 문헌 리뷰를 생성합니다.

ABSTRACT

Conducting literature reviews for scientific papers is essential for understanding research, its limitations, and building on existing work. It is a tedious task which makes an automatic literature review generator appealing. Unfortunately, many existing works that generate such reviews using Large Language Models (LLMs) have significant limitations. They tend to hallucinate-generate non-factual information-and ignore the latest research they have not been trained on. To address these limitations, we propose a toolkit that operates on Retrieval Augmented Generation (RAG) principles, specialized prompting and instructing techniques with the help of LLMs. Our system first initiates a web search to retrieve relevant papers by summarizing user-provided abstracts into keywords using an off-the-shelf LLM. Authors can enhance the search by supplementing it with relevant papers or keywords, contributing to a tailored retrieval process. Second, the system re-ranks the retrieved papers based on the user-provided abstract. Finally, the related work section is generated based on the re-ranked results and the abstract. There is a substantial reduction in time and effort for literature review compared to traditional methods, establishing our toolkit as an efficient alternative. Our project page including the demo and toolkit can be accessed here: https://litllm.github.io

연구 동기 및 목표

• 초록이나 연구 아이디어에서 시작하여 문헌 리뷰 생성을 자동화하고 가속화합니다.
• 생성된 콘텐츠를 검색된 최신 논문에 근거를 두어 환각을 줄입니다.
• 문장 계획과 모듈식 구성요소를 통해 제어 가능한 생성 프로세스를 제공합니다.

제안 방법

• 입력 초록을 Semantic Scholar APIs를 통해 학술 검색용 키워드 쿼리로 요약합니다.
• 쿼리 초록과의 관련성에 따라 검색된 논문을 정렬하기 위해 LLM 기반 재정렬기를 적용합니다.
• 재정렬된 논문과 초록을 조건으로 하는 LLM을 사용하여 related work(관련 연구) 섹션을 생성합니다.
• 생성 텍스트의 길이와 구성을 제어하기 위해 문장 계획 기반 프롬프트를 포함합니다.
• 출력을 검색된 문헌에 근거를 두도록 Retrieval Augmented Generation (RAG)을 채택합니다.

Figure 1: LitLLM on Huggingface Space. Our system works on the Retrieval Augmented Generation (RAG) principle to generate the literature review grounded in retrieved relevant papers. User needs to provide the abstract in the textbox (in purple) and press send to get the generated related work (in re

실험 결과

연구 질문

• RQ1 RAG 기반의 모듈식 파이프라인이 초록으로부터 사실적으로 근거 있는 related work 섹션을 만들어낼 수 있는가?
• RQ2 재정렬이 제로샷 생성과 비교하여 생성된 문헌 리뷰의 사실적 근거와 관련성을 향상시키는가?
• RQ3 문장 계획 기반 생성이 사용자 요구에 맞춘 제어 가능하고 간결한 문헌 리뷰를 제공하는가?

주요 결과

• 모듈식 LitLLM 파이프라인은 키워드 파생 검색 쿼리, 재정렬기, LLM 생성기를 사용하여 검색된 논문에 근거를 두는 related work를 생성합니다.
• RAG는 생성의 근거를 검색된 소스에 두고 최신 콘텐츠를 가능하게 함으로써 환각을 줄입니다.
• 문장 계획 프롬프트는 제어 가능하고 간결한 생성을 제공하는 반면, 제로샷 생성은 더 넓고 정보가 풍부한 범위를 제공합니다.
• 시스템은 선택적 시드 논문이나 키워드를 통해 검색을 인터랙티브하게 지원하여 검색된 세트를 맞춤화합니다.
• 도구는 저작권 표기와 가능한 환각에 주의를 기울이며, 향후 연구에서 전체 논문 수집 계획을 제시합니다.

Figure 2: Schematic diagram of the modular pipeline used in our system. In the default setup, we summarize the research abstract into a keyword query, which is used to retrieve relevant papers from an academic search engine. We use an LLM-based reranker to select the most relevant paper relative to