[論文レビュー] SWARM-SLR AIssistant: A Unified Framework for Scalable Systematic Literature Review Automation

Tim Wittenborg, Allard Oelen+1 more|arXiv (Cornell University)|Mar 5, 2026

Scientific Computing and Data Management被引用数 0

ひとこと要約

SWARM-SLR AIssistantを導入する。モジュラーでエージェントベースのフレームワークが、SWARM-SLRをAI支援ワークフローおよび中央集権的ツールレジストリと統合し、拡張可能な人間-in-ループのSLR自動化を実現する。

ABSTRACT

Despite a growing ecosystem of tools supporting Systematic Literature Reviews (SLRs), integrating them into user-friendly workflows remains challenging. The Streamlined Workflow for Automating Machine-Actionable Systematic Literature Reviews (SWARM-SLR) unified the tool annotation and provided a cohesive yet modular workflow, but faced scalability and usability issues. We introduce the SWARM-SLR AIssistant, a unified framework that combines the SWARM-SLR's structured methodology with an agent-based assistant that integrates research tools in a modular interface. The first SWARM-SLR stage is integrated, enabling conversational, LLM-guided support and persistent data storage. To address the tool assessment bottleneck, we propose a centralized tool registry that allows developers to annotate and register tools autonomously using a shared metadata schema. Preliminary evaluation shows improved usability, but challenges remain in balancing efficiency, accessibility, and transparency. Further development is needed to realize scalable SLR automation.

研究の動機と目的

• SWARM-SLRをAI支援ワークスペースに統合し、永続的なストレージを備えて使い勝手とアクセス性を向上させる。
• ツールの注釈と登録を共有メタデータスキーマで行う、中央集権的かつ分散フレンドリーなツールレジストリを提案する。
• SWARM-SLRの最初のステージをAIssistantに統合し、対話的でLLMガイド付きの指示を提供する。
• 実ユーザーを用いた予備実装の評価を行い、使いやすさの利点と残された課題を特定する。

提案手法

• 標準化されたツール記述を介して外部の構成可能なツールを呼び出せるモジュラーAIssistantワークスペースを開発する。
• AIssistantインターフェース内にSWARM-SLRの最初の5つのステップを別個のエージェントとして組み込む。
• SWARM-SLRの要件をツール注釈用のメタデータにマップする中央集権的ツールレジストリを設計する。
• 人間と機械の間で中間結果と最終結果を共有する永続的データ層を提供する。
• bio.toolsに触発されたクラウドソーシング型の拡張機能市場スタイルのアプローチを用いて、ツールの導入と開発者による自動注釈を可能にする。

Figure 1: Overview of the SWARM-SLR AIssistant. The SWARM-SLR requirements are mapped to tool registry properties, which are used to annotate tools. The resulting tool catalogue can be used from within the AIssistant, providing a uniform interface for human and machine to access tools and data.

実験結果

リサーチクエスチョン

• RQ1 AIssistantはSWARM-SLRの最初のステージに対して効果的なLLMガイド付きサポートを提供しつつ、共有データ層を永続化できるのか。
• RQ2 中央集権的ツールレジストリはSWARM-SLR AIssistantにおけるツール注釈と統合の使いやすさとスケーラビリティを改善するのか。
• RQ3 多様な研究ツールを統合した際の使いやすさ、透明性、リソースのトレードオフはどのようになるのか。
• RQ4 実際のSLR文脈で統合システムの研究者にとっての使いやすさはどの程度で、より広範な普及の障壁は何か。

主な発見

• 18名の参加者による予備評価で、AIssistantは元のJupyter Notebook実装と比較して使いやすさが向上した。
• 参加者はAIssistantの使いやすさとアクセス性の改善に対して肯定的な感情を示した。
• ツールの透明性、幻視（ホリュージョン）、リソース効率性についての残存懸念が指摘された。
• 統一されたインターフェースにより、人間と機械のツールおよびデータへのアクセスが統一され、中間結果と最終結果の共有が可能になった。
• ツール注釈を簡素化し、ツールへの貢献の障壁を低減する中央集権的ツールレジストリを提案する。

Figure 2: The conceptual design of the AIssistant tool registry provides a central tool curation point, mapping requirements to metadata schema. Users can browse task-specific tools similar to an extension marketplace.