[論文レビュー] Artificial Intelligence for Literature Reviews: Opportunities and Challenges

Francisco Bolaños, Angelo A. Salatino+2 more|arXiv (Cornell University)|Feb 13, 2024

Biomedical Text Mining and Ontologies被引用数 14

ひとこと要約

AI、特に大規模言語モデルが系統的文献レビューにおけるスクリーニングと抽出を半自動化する方法の総合的な調査。21のSLRツールと11のAI機能を分析。

ABSTRACT

This manuscript presents a comprehensive review of the use of Artificial Intelligence (AI) in Systematic Literature Reviews (SLRs). A SLR is a rigorous and organised methodology that assesses and integrates previous research on a given topic. Numerous tools have been developed to assist and partially automate the SLR process. The increasing role of AI in this field shows great potential in providing more effective support for researchers, moving towards the semi-automatic creation of literature reviews. Our study focuses on how AI techniques are applied in the semi-automation of SLRs, specifically in the screening and extraction phases. We examine 21 leading SLR tools using a framework that combines 23 traditional features with 11 AI features. We also analyse 11 recent tools that leverage large language models for searching the literature and assisting academic writing. Finally, the paper discusses current trends in the field, outlines key research challenges, and suggests directions for future research.

研究の動機と目的

• AI技術がSLRのスクリーニングと抽出段階を半自動化する方法を評価する。
• 伝統的な23機能と11のAI固有機能を組み合わせたフレームワークを導入する。
• 21の主要なAI強化SLRツールと11の最近のLLMベースツールをレビューする。
• SLRにおけるAIの現在の動向、課題、および機会を特定する。

提案手法

• AI強化SLRツールのPRISMAガイド付き系統的レビューを実施する。
• スクリーニングまたは抽出を半自動化するツールを選定するために、包含/排除基準を適用する。
• ツールを分析するために、23の一般機能と11のAI固有機能を含むフレームワークを開発する。
• 文献、公式ドキュメント、開発者への連絡を用いてツールレベルの分析を実施する。
• 動向、課題、および今後の研究方向性に関する所見を総合する。

実験結果

リサーチクエスチョン

• RQ1 AI技術は現在、SLRのスクリーニングおよび抽出段階をどのように半自動化するために使用されているか？
• RQ2 AI強化SLRツールを特徴づける機能（一般およびAI固有）は何か？
• RQ3 系統的文献レビューにおけるAIの主な動向、課題、今後の方向性は何か？

主な発見

• 19ツールはスクリーニングにAIを使用; 4ツールは抽出をサポート; Iris.ai と RobotReviewer/RobotSearch は両方の段階をカバー。
• AI機能11と一般機能23の拡張フレームワークを用いてツールを評価した。
• ほとんどのツールはSVMなどの分類器を用いて論文を分類する（関連/関連しない）。一部は埋め込み表現やトピックマップを使用。
• 検索と執筆のためのLLMベースツールが出現しており、将来的にはSLRツールと統合される可能性がある。
• 本研究はAI機能のカバレッジのギャップを指摘し、SLRツールにおけるAI能力のより包括的な分析を求めている。