[論文レビュー] System for systematic literature review using multiple AI agents: Concept and an empirical evaluation

Abdul Malik Sami, Zeeshan Rasheed+7 more|arXiv (Cornell University)|Mar 13, 2024

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

この論文は、LLMsを活用した新しいマルチAIエージェントモデルを提案し、SLRを完全自動化し、ソフトウェア工学の研究者10名の評価で高い満足度と潜在的な効率向上を示す。

ABSTRACT

Systematic literature review (SLR) is foundational to evidence-based research, enabling scholars to identify, classify, and synthesize existing studies to address specific research questions. Conducting an SLR is, however, largely a manual process. In recent years, researchers have made significant progress in automating portions of the SLR pipeline to reduce the effort and time required for high-quality reviews; nevertheless, there remains a lack of AI-agent-based systems that automate the entire SLR workflow. To this end, we introduce a novel multi-AI-agent system designed to fully automate SLRs. Leveraging large language models (LLMs), our system streamlines the review process to enhance efficiency and accuracy. Through a user-friendly interface, researchers specify a topic; the system then generates a search string to retrieve relevant academic papers. Next, an inclusion/exclusion filtering step is applied to titles relevant to the research area. The system subsequently summarizes paper abstracts and retains only those directly related to the field of study. In the final phase, it conducts a thorough analysis of the selected papers with respect to predefined research questions. This paper presents the system, describes its operational framework, and demonstrates how it substantially reduces the time and effort traditionally required for SLRs while maintaining comprehensiveness and precision. The code for this project is available at: https://github.com/GPT-Laboratory/SLR-automation .

研究の動機と目的

• 時間と労力の負担のために、ソフトウェア工学における自動化されたエンドツーエンドのSLRの必要性を動機づける。
• 検索から分析までのSLRのステップを自動化する、マルチエージェントLLMベースのフレームワークを開発する。
• 検索文字列の生成、文献のフィルタリング、要約、そして研究質問への回答といったモデルの能力をデモンストレーションする。
• 専門家評価を通じて、アプローチのユーザー体験と実用性を評価する。

提案手法

• プランナーエージェントを作成し、ユーザー入力から研究質問、目的、検索文字列を生成します。
• 文献特定エージェントを用いて検索文字列から論文を取得し、タイトルベースのフィルタリングを適用します。
• 含める/除外基準でフィルタリングし、研究質問に関連する内容を要約するデータ抽出エージェントを適用します。
• 所見を統合し、傾向を検出し、最終報告書をドラフトするデータ統合エージェントを実装します。
• 効率、使いやすさ、および精度を評価するために、10名のソフトウェア工学研究者を用いてシステムを評価します。
• 今後のより広範な評価と公開プレゼンテーション（例：SANER 2024）を計画し、GitHubコードを提供します。

実験結果

リサーチクエスチョン

• RQ1 RQ1. LLMベースのマルチエージェントシステムは、SEにおける体系的文献調査プロセスを自動化するために、従来の方法論をどのように変革するのか？
• RQ2 RQ2. 提案されたLLMベースのマルチエージェントモデルの効率と精度をどのように評価できるか？

主な発見

• マルチエージェントモデルは、SLRの検索文字列生成、文献識別、データ抽出、およびデータ統合を自動化します。
• 10名の専門家による評価で、ツールの機能性を承認した割合は80%、改善を提案した割合は20%でした。
• 著者は50名の追加の実務家および研究者によるより広範な評価と、SANER 2024での発表を計画しています。
• ツールは、手作業の労力を低減しつつ、網羅性と精度を維持または向上させることを示しました。
• 本プロジェクトはコードアクセスのためのGitHubリポジトリを提供します。