[논문 리뷰] System for systematic literature review using multiple AI agents: Concept and an empirical evaluation

Abdul Malik Sami, Zeeshan Rasheed외 7명|arXiv (Cornell University)|2024. 03. 13.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 LLM을 기반으로 한 다중-AI 에이전트 모델을 제시하여 체계적 문헌고찰(SLR)을 완전 자동화하고, 이를 소프트웨어 엔지니어링 연구자 10명을 대상으로 평가하여 높은 만족도와 잠재적 효율성 향상을 보여준다.

ABSTRACT

Systematic literature review (SLR) is foundational to evidence-based research, enabling scholars to identify, classify, and synthesize existing studies to address specific research questions. Conducting an SLR is, however, largely a manual process. In recent years, researchers have made significant progress in automating portions of the SLR pipeline to reduce the effort and time required for high-quality reviews; nevertheless, there remains a lack of AI-agent-based systems that automate the entire SLR workflow. To this end, we introduce a novel multi-AI-agent system designed to fully automate SLRs. Leveraging large language models (LLMs), our system streamlines the review process to enhance efficiency and accuracy. Through a user-friendly interface, researchers specify a topic; the system then generates a search string to retrieve relevant academic papers. Next, an inclusion/exclusion filtering step is applied to titles relevant to the research area. The system subsequently summarizes paper abstracts and retains only those directly related to the field of study. In the final phase, it conducts a thorough analysis of the selected papers with respect to predefined research questions. This paper presents the system, describes its operational framework, and demonstrates how it substantially reduces the time and effort traditionally required for SLRs while maintaining comprehensiveness and precision. The code for this project is available at: https://github.com/GPT-Laboratory/SLR-automation .

연구 동기 및 목표

• 시간과 노동 집약성으로 인한 소프트웨어 엔지니어링에서 자동화된 엔드-투-엔드 SLR의 필요성을 제시한다.
• 슬SLR 단계를 자동화하는 다중 에이전트 LLM 기반 프레임워크를 개발한다.
• 검색 문자열 생성, 문헌 필터링, 초록 요약, 연구 질문에 대한 답변 등 모델의 기능을 입증한다.
• 전문가 평가를 통해 접근성 및 실용성을 평가한다.

제안 방법

• 사용자 입력으로부터 연구 질문, 목적, 검색 문자열을 생성하는 기획자 에이전트를 만든다.
• 검색 문자열을 통해 논문을 검색하고 제목 기반 필터링을 적용하는 문헌 식별 에이전트를 사용한다.
• 포함/배제 기준으로 필터링하고 연구 질문(RQs)와 관련된 내용을 요약하는 데이터 추출 에이전트를 활용한다.
• 소견을 종합하고 경향을 탐지하며 최종 보고서를 초안하는 데이터 컴파일 에이전트를 구현한다.
• 효율성, 사용성, 정확성을 평가하기 위해 다소치? 연구자 10명을 대상으로 시스템을 평가한다.
• 향후 더 넓은 평가 및 공개 발표(예: SANER 2024) 계획 및 GitHub 코드 제공.

실험 결과

연구 질문

• RQ1 RQ1. LLM 기반 다중 에이전트 시스템이 SE의 전통적 방법론을 어떻게 변화시켜 체계적 문헌고찰 과정을 자동화하는가?
• RQ2 RQ2. 제안된 LLM 기반 다중 에이전트 모델의 효율성 및 정확도는 어떻게 평가될 수 있는가?

주요 결과

• 다중 에이전트 모델은 SLR을 위해 검색 문자열 생성, 문헌 식별, 데이터 추출 및 데이터 합성을 자동화한다.
• 10명의 전문가와의 평가에서 도구 기능이 80% 승인되었고 20%는 개선을 제안했다.
• 저자들은 50명의 추가 전문가 및 연구자와의 광범위한 평가와 SANER 2024에서의 발표를 계획한다.
• 도구는 수작업 노력을 줄이면서 포괄성과 정밀도를 유지하거나 향상시켰다.
• 프로젝트는 코드 접근을 위한 GitHub 저장소를 제공한다.