[논문 리뷰] Artificial Intelligence for Literature Reviews: Opportunities and Challenges

Francisco Bolaños, Angelo A. Salatino외 2명|arXiv (Cornell University)|2024. 02. 13.

Biomedical Text Mining and Ontologies인용 수 14

한 줄 요약

대규모 언어 모델을 포함한 AI가 체계적 문헌고찰(SLR)에서 스크리닝과 추출을 반자동화하는 방법에 대한 포괄적 조사로, 21개의 SLR 도구와 11개의 AI 기능을 분석한다.

ABSTRACT

This manuscript presents a comprehensive review of the use of Artificial Intelligence (AI) in Systematic Literature Reviews (SLRs). A SLR is a rigorous and organised methodology that assesses and integrates previous research on a given topic. Numerous tools have been developed to assist and partially automate the SLR process. The increasing role of AI in this field shows great potential in providing more effective support for researchers, moving towards the semi-automatic creation of literature reviews. Our study focuses on how AI techniques are applied in the semi-automation of SLRs, specifically in the screening and extraction phases. We examine 21 leading SLR tools using a framework that combines 23 traditional features with 11 AI features. We also analyse 11 recent tools that leverage large language models for searching the literature and assisting academic writing. Finally, the paper discusses current trends in the field, outlines key research challenges, and suggests directions for future research.

연구 동기 및 목표

• AI 기술이 SLR의 스크리닝 및 추출 단계를 반자동화하는 데 어떻게 적용되는지 평가한다.
• 전통적인 23개 특징과 11개의 AI 특수 특징을 결합한 프레임워크를 제시한다.
• 주요 AI 강화 SLR 도구 21개와 최근의 LLM 기반 도구 11개를 검토한다.
• AI의 현재 동향, 도전과제, SLR에서의 기회들을 식별한다.

제안 방법

• AI 강화 SLR 도구에 대한 PRISMA-guided 체계적 검토를 수행한다.
• 포함/제외 기준을 적용하여 스크리닝 또는 추출을 반자동화하는 도구를 선택한다.
• 도구를 분석하기 위한 23개의 일반 특징과 11개의 AI 특수 특징을 포함한 프레임워크를 개발한다.
• 문헌, 공식 문서, 개발자 연락을 사용하여 도구 수준의 분석을 수행한다.
• 동향, 도전과제, 향후 연구 방향에 대한 발견을 종합한다.

실험 결과

연구 질문

• RQ1 AI 기술은 현재 SLR의 스크리닝 및 추출 단계를 반자동화하는 데 어떻게 활용되고 있는가?
• RQ2 일반적이면서도 AI 특수한 특징들은 AI 강화 SLR 도구를 어떻게 특징짓는가?
• RQ3 체계적 문헌고찰을 위한 AI의 주요 동향, 도전과제, 향후 방향은 무엇인가?

주요 결과

• 스무아 도구는 AI를 사용하여 스크리닝을 수행한다; 네 가지 도구는 추출을 지원하며, Iris.ai와 RobotReviewer/RobotSearch가 두 단계 모두를 다룬다.
• 11개의 AI 기능과 23개의 일반 기능으로 확장된 프레임워크를 사용하여 도구를 평가했다.
• 대부분의 도구는 SVM과 같은 분류기를 사용하여 논문 분류(관련/무관)를 수행한다; 일부는 임베딩이나 토픽 맵을 사용한다.
• LLM 기반의 검색 및 작성 도구가 등장하고 있으며 향후 SLR 도구와 통합될 수 있다.
• 본 연구는 AI 기능 커버리지의 격차를 강조하고 SLR 도구에서의 AI 능력에 대한 보다 포괄적인 분석을 촉구한다.