[論文レビュー] LitLLM: A Toolkit for Scientific Literature Review

Shubham Agarwal, Sahu, Gaurav+6 more|arXiv (Cornell University)|Feb 2, 2024

Biomedical Text Mining and Ontologies被引用数 9

ひとこと要約

LitLLM は、ユーザー提供の要約から始まる文献レビューを生成するモジュラー Retrieval Augmented Generation (RAG) ツールキットで、キーワード駆動の検索、LLMベースの再ランク付け、計画ベースの生成を用いて幻覚を減らします。

ABSTRACT

Conducting literature reviews for scientific papers is essential for understanding research, its limitations, and building on existing work. It is a tedious task which makes an automatic literature review generator appealing. Unfortunately, many existing works that generate such reviews using Large Language Models (LLMs) have significant limitations. They tend to hallucinate-generate non-factual information-and ignore the latest research they have not been trained on. To address these limitations, we propose a toolkit that operates on Retrieval Augmented Generation (RAG) principles, specialized prompting and instructing techniques with the help of LLMs. Our system first initiates a web search to retrieve relevant papers by summarizing user-provided abstracts into keywords using an off-the-shelf LLM. Authors can enhance the search by supplementing it with relevant papers or keywords, contributing to a tailored retrieval process. Second, the system re-ranks the retrieved papers based on the user-provided abstract. Finally, the related work section is generated based on the re-ranked results and the abstract. There is a substantial reduction in time and effort for literature review compared to traditional methods, establishing our toolkit as an efficient alternative. Our project page including the demo and toolkit can be accessed here: https://litllm.github.io

研究の動機と目的

• 要約または研究アイデアから文献レビュー生成を自動化・高速化。
• 生成コンテンツを取得済みで最新の論文に基づかせて幻覚を減らす。
• 文の計画とモジュール化コンポーネントによる制御可能な生成プロセスを提供する。

提案手法

• Semantic Scholar APIを介した学術検索のために入力要約をキーワードクエリへ要約する。
• クエリ要約に対する関連性で取得済み論文を並べ替えるためのLLMベースのリランカーを適用する。
• 再ランク付けされた論文と要約を条件として related work セクションを生成する。
• 文計画ベースのプロンプトを組み込んで、生成テキストの長さと構造を制御する。
• RAGを採用して出力を取得文書に基づかせる。

Figure 1: LitLLM on Huggingface Space. Our system works on the Retrieval Augmented Generation (RAG) principle to generate the literature review grounded in retrieved relevant papers. User needs to provide the abstract in the textbox (in purple) and press send to get the generated related work (in re

実験結果

リサーチクエスチョン

• RQ1 RAGベースのモジュール化パイプラインは、要約から事実に基づいた related work セクションを生成できるか？
• RQ2 リランク付けは、ゼロショット生成と比較して事実的な基盤と関連性を改善するか？
• RQ3 文計画ベースの生成は、ユーザーのニーズに合わせて制御可能で簡潔な文献レビューを提供するか？

主な発見

• モジュール型の LitLLM パイプラインは、キーワード由来の検索クエリ、リランカー、LLMジェネレータを使用して、取得済み論文に基づいた関連作業を生成する。
• RAG は、取得ソースに基づいて生成を地に足をつけさせ、最新の内容を可能にすることで幻覚を減らす。
• 文計画プロンプティングは、制御可能で簡潔な生成を提供する一方、ゼロショット生成はより広範で情報豊富なカバレッジを提供する。
• システムは、任意のシード論文やキーワードを介してインタラクティブな検索をサポートし、取得セットを調整できる。
• ツールは著作権と出典を重視し、幻覚の可能性について警鐘を鳴らし、将来の研究で全論文の取り込みを計画している。

Figure 2: Schematic diagram of the modular pipeline used in our system. In the default setup, we summarize the research abstract into a keyword query, which is used to retrieve relevant papers from an academic search engine. We use an LLM-based reranker to select the most relevant paper relative to