[논문 리뷰] Search Strategy Formulation for Systematic Reviews: issues, challenges and opportunities

Andrew MacFarlane, Tony Russell‐Rose외 1명|arXiv (Cornell University)|2021. 12. 17.

Meta-analysis and systematic reviews인용 수 8

한 줄 요약

이 논문은 복잡성, 시간 소모, 오류 발생 가능성 등의 핵심 과제를 해결함으로써 체계적 검토 검색 전략 수립의 신뢰성, 투명성, 재현 가능성을 향상시키기 위한 설계 원칙의 세트를 제안한다. 기존 문헌을 종합하여 검색 전략 개발의 문제점을 파악하고, 의료 중심 체계적 검토에서 설명 가능성과 재현 가능성을 향상시키는 도구의 활용을 주장한다.

ABSTRACT

Systematic literature reviews play a vital role in identifying the best available evidence for health and social care policy. The resources required to produce systematic reviews can be significant, and a key to the success of any review is the search strategy used to identify relevant literature. However, the methods used to construct search strategies can be complex, time consuming, resource intensive and error prone. In this review, we examine the state of the art in resolving complex structured information needs, focusing primarily on the healthcare context. We analyse the literature to identify key challenges and issues and explore appropriate solutions and workarounds. From this analysis we propose a way forward to facilitate trust and transparency and to aid explainability, reproducibility and replicability through a set of key design principles for tools to support the development of search strategies in systematic literature reviews.

연구 동기 및 목표

• 체계적 검토의 검색 전략 수립 과정에서 발생하는 핵심 과제, 특히 의료 분야에서의 과제를 특정하고 분석하기.
• 현재의 검색 전략 개발 방법의 한계를 검토하기, 특히 시간 소모, 자원 소모, 오류 발생 가능성의 측면에서.
• 구조화된 도구 활용을 통해 체계적 검토 검색 과정의 투명성, 설명 가능성, 재현 가능성을 향상시키기.
• 체계적 검토 검색 전략 수립을 지원하는 소프트웨어 도구를 위한 실천 가능한 설계 원칙을 제안하기.
• 정보 검색 최적 실천 방법과 건강 및 사회 복지 연구 분야의 체계적 검토자들이 실제로 필요로 하는 요구 사항 사이의 격차를 메우기.

제안 방법

• 의료 분야 체계적 검토에서의 구조화된 정보 필요성에 중점을 두고 종합적인 문헌 리뷰를 수행하기.
• 기존의 검색 전략 수립 방법을 분석하여 복잡성, 표준화 부족, 도구 지원 부족 등의 반복적인 문제점을 파악하기.
• 신뢰성, 투명성, 재현 가능성을 향상시키기 위한 설계 원칙의 프레임워크로 연구 결과를 통합하기.
• 쿼리 구성 및 관련성 필터링과 같은 검색 전략 구성 요소의 자동화 및 문서화에 도구의 역할을 강조하기.
• 버전 관리, 감사 기록, 인간-중심의 정밀 조정을 지원하는 원칙을 제안하여 설명 가능성 향상하기.
• 정보 검색(IR) 연구의 통찰을 통합하여 체계적 검토 관행을 최신 IR 기법과 일치시키기.

실험 결과

연구 질문

• RQ1 의료 분야에서 체계적 검토의 검색 전략 수립 과정에서 발생하는 주요 과제는 무엇인가요?
• RQ2 현재의 검색 전략 개발 방법은 체계적 검토의 재현 가능성과 투명성에 어떤 영향을 미치나요?
• RQ3 체계적 검토 검색 전략 수립을 지원하는 도구의 신뢰성과 사용성 향상에 기여할 수 있는 설계 원칙은 무엇인가요?
• RQ4 정보 검색 기법은 체계적 검토 워크플로우를 지원하기 위해 어떻게 적응시킬 수 있나요?
• RQ5 도구 활용은 민감도나 특이도를 훼손하지 않으면서도 검색 전략 개발의 시간과 오류 부담을 어떻게 줄일 수 있나요?

주요 결과

• 체계적 검토에서 검색 전략 수립은 표준화된 도구 지원 워크플로우가 부족하여 매우 복잡하고 시간이 오래 걸리며 인간의 실수에 취약하다.
• 현재의 관행은 투명성과 감사 가능성 부족으로 인해 다양한 검토 팀 간에 검색 전략을 재현하거나 검증하기 어려운 경우가 많다.
• 최신 정보 검색 기법과 그 응용 사이에 상당한 격차가 존재한다.
• 제안된 설계 원칙은 버전 관리, 모듈성, 추적 가능성에 중점을 두어 검색 전략의 설명 가능성과 재현 가능성을 향상시킨다.
• 구조화된 쿼리 구성, 로깅, 협업 검토를 지원하는 도구는 오류를 크게 줄이고 효율성을 향상시킬 수 있다.
• 이 원칙들을 도입하면 건강 및 사회 복지 연구 분야에서 더 신뢰성 있고 투명하며 확장 가능한 체계적 검토 과정을 달성할 수 있다.