[论文解读] Artificial Intelligence for Literature Reviews: Opportunities and Challenges

Francisco Bolaños, Angelo A. Salatino+2 more|arXiv (Cornell University)|Feb 13, 2024

Biomedical Text Mining and Ontologies被引用 14

一句话总结

一个关于 AI，尤其是大语言模型，在系统综述中半自动化筛选与提取的综合综述，分析了 21 个 SLR 工具和 11 个 AI 特征。

ABSTRACT

This manuscript presents a comprehensive review of the use of Artificial Intelligence (AI) in Systematic Literature Reviews (SLRs). A SLR is a rigorous and organised methodology that assesses and integrates previous research on a given topic. Numerous tools have been developed to assist and partially automate the SLR process. The increasing role of AI in this field shows great potential in providing more effective support for researchers, moving towards the semi-automatic creation of literature reviews. Our study focuses on how AI techniques are applied in the semi-automation of SLRs, specifically in the screening and extraction phases. We examine 21 leading SLR tools using a framework that combines 23 traditional features with 11 AI features. We also analyse 11 recent tools that leverage large language models for searching the literature and assisting academic writing. Finally, the paper discusses current trends in the field, outlines key research challenges, and suggests directions for future research.

研究动机与目标

• 评估 AI 技术如何应用于半自动化 SLR 筛选和提取阶段。
• 介绍一个结合传统的 23 个特征与 11 个 AI 特征的框架。
• 回顾 21 款领先的 AI 增强 SLR 工具和 11 款最近的基于 LLM 的工具。
• 识别 AI 在 SLR 中的当前趋势、挑战和机会。

提出的方法

• 进行一个以 PRISMA 指导的 AI 增强 SLR 工具的系统性综述。
• 应用纳入和排除标准以选择半自动化筛选或提取的工具。
• 开发一个包含 23 个一般特征和 11 个 AI 特征的框架来分析工具。
• 使用文献、官方文档和开发者沟通进行工具级分析。
• 综合研究趋势、挑战和未来研究方向的发现。

实验结果

研究问题

• RQ1 AI 技术目前如何用于半自动化 SLR 的筛选和提取阶段？
• RQ2 哪些特征（一般和 AI 特定）表征 AI 增强的 SLR 工具？
• RQ3 在系统性文献综述的 AI 方面，主要趋势、挑战和未来方向是什么？

主要发现

• 19 款工具用于筛选；4 款工具支持提取；Iris.ai 与 RobotReviewer/RobotSearch 同时覆盖这两个阶段。
• 使用一个扩展的框架，包含 11 个 AI 特征和 23 个通用特征来评估工具。
• 大多数工具使用分类器（如 SVM）对论文进行分类（相关/不相关）；一些使用嵌入或主题图。
• 基于 LLM 的检索与写作工具正在出现，未来可能与 SLR 工具整合。
• 研究强调 AI 特征覆盖的差距，并呼吁对 SLR 工具中 AI 能力进行更全面的分析。