[논문 리뷰] SWARM-SLR AIssistant: A Unified Framework for Scalable Systematic Literature Review Automation

Tim Wittenborg, Allard Oelen외 1명|arXiv (Cornell University)|2026. 03. 05.

Scientific Computing and Data Management인용 수 0

한 줄 요약

SWARM-SLR AIssistant를 도입하는 모듈식의 에이전트 기반 프레임워크로, SWARM-SLR을 AI 보조 워크플로우 및 중앙 집중 도구 레지스트리와 통합하여 확장 가능한 사람-루프(SLR 자동화)를 가능하게 한다.

ABSTRACT

Despite a growing ecosystem of tools supporting Systematic Literature Reviews (SLRs), integrating them into user-friendly workflows remains challenging. The Streamlined Workflow for Automating Machine-Actionable Systematic Literature Reviews (SWARM-SLR) unified the tool annotation and provided a cohesive yet modular workflow, but faced scalability and usability issues. We introduce the SWARM-SLR AIssistant, a unified framework that combines the SWARM-SLR's structured methodology with an agent-based assistant that integrates research tools in a modular interface. The first SWARM-SLR stage is integrated, enabling conversational, LLM-guided support and persistent data storage. To address the tool assessment bottleneck, we propose a centralized tool registry that allows developers to annotate and register tools autonomously using a shared metadata schema. Preliminary evaluation shows improved usability, but challenges remain in balancing efficiency, accessibility, and transparency. Further development is needed to realize scalable SLR automation.

연구 동기 및 목표

• 지속 가능한 저장소를 가진 AI 보조 워크스페이스에 통합하여 SWARM-SLR의 사용성과 접근성을 향상시킨다.
• 공유 메타데이터 스키마를 사용하여 도구를 주석 달고 등록하는 중앙 집중식이면서도 분산 친화적인 도구 레지스트리를 제안한다.
• 대화형의 LLM-가이드 지침을 제공하기 위해 SWARM-SLR의 첫 단계를 AIssistant에 통합한다.
• 실사용자와의 예비 구현을 평가하여 사용성 이점과 남은 도전을 식별한다.

제안 방법

• 표준화된 도구 설명을 통해 외부 구성 가능 도구를 호출할 수 있는 모듈식 AIssistant 워크스페이스를 개발한다.
• SWARM-SLR의 처음 다섯 단계를 AIssistant 인터페이스의 개별 에이전트로 포함한다.
• SWARM-SLR 요구사항을 도구 주석을 위한 메타데이터에 매핑하는 중앙 집중식 도구 레지스트리를 설계한다.
• 사람과 기계 간에 중간 및 최종 SLR 결과를 공유하기 위한 지속적인 데이터 계층을 제공한다.
• 개발자에 의한 도구 온보딩과 자율 주석화를 가능하게 하기 위해 bio.tools에서 영감을 받은 크라우드소싱, 확장 마켓 스타일의 접근 방식을 사용한다.

Figure 1: Overview of the SWARM-SLR AIssistant. The SWARM-SLR requirements are mapped to tool registry properties, which are used to annotate tools. The resulting tool catalogue can be used from within the AIssistant, providing a uniform interface for human and machine to access tools and data.

실험 결과

연구 질문

• RQ1 지속적인 공유 데이터 계층을 유지하면서 AIssistant가 SWARM-SLR의 첫 단계에 대해 효과적인 LLM-가이드 지원을 제공할 수 있는가?
• RQ2 중앙 집중식 도구 레지스트리가 SWARM-SLR AIssistant에서 도구 주석 및 통합의 사용성과 확장성을 향상시키는가?
• RQ3 다양한 연구 도구를 통합된 AI 보조 SLR 워크플로에 통합할 때의 사용성, 투명성 및 자원 운용상의 트레이드오프는 무엇인가?
• RQ4 현실 세계의 SLR 맥락에서 연구자들이 통합 시스템을 얼마나 사용할 수 있으며, 더 넓은 채택을 위한 남은 도전과제는 무엇인가?

주요 결과

• 18명의 참가자를 대상으로 한 예비 평가에서 원래의 Jupyter Notebook 구현에 비해 AIssistant의 사용성이 향상된 것으로 나타났다.
• 참가자들은 AIssistant의 사용성 및 접근성 개선에 대해 긍정적인 평가를 보고했다.
• 사용자들은 도구의 투명성, 환각(hallucinations), 및 자원 효율성에 관한 남아 있는 문제를 강조했다.
• 통합은 도구와 데이터에 대한 인간과 기계 접근을 위한 일관된 인터페이스를 제공하여 중간 및 최종 결과에 대한 공유 접근을 가능하게 한다.
• 도구 주석을 단순화하고 도구 기여의 장벽을 낮추기 위해 중앙 집중식 도구 레지스트리가 제안된다.

Figure 2: The conceptual design of the AIssistant tool registry provides a central tool curation point, mapping requirements to metadata schema. Users can browse task-specific tools similar to an extension marketplace.