[論文レビュー] Search Strategy Formulation for Systematic Reviews: issues, challenges and opportunities

Andrew MacFarlane, Tony Russell‐Rose+1 more|arXiv (Cornell University)|Dec 17, 2021

Meta-analysis and systematic reviews被引用数 8

ひとこと要約

本稿は、複雑さ、時間消費、誤りの発生といった主な課題に取り組むことで、システマティックレビューの検索戦略策定における信頼性、透明性、再現性を向上させるための設計原則のセットを提案する。既存の文献を統合的に分析し、検索戦略開発における問題を特定し、医療分野に特化したシステマティックレビューにおける説明可能性と再現可能性を高めるツール化の推進を提唱する。

ABSTRACT

Systematic literature reviews play a vital role in identifying the best available evidence for health and social care policy. The resources required to produce systematic reviews can be significant, and a key to the success of any review is the search strategy used to identify relevant literature. However, the methods used to construct search strategies can be complex, time consuming, resource intensive and error prone. In this review, we examine the state of the art in resolving complex structured information needs, focusing primarily on the healthcare context. We analyse the literature to identify key challenges and issues and explore appropriate solutions and workarounds. From this analysis we propose a way forward to facilitate trust and transparency and to aid explainability, reproducibility and replicability through a set of key design principles for tools to support the development of search strategies in systematic literature reviews.

研究の動機と目的

• システマティックレビューの検索戦略策定における核心的な課題を特定・分析すること、特に医療分野の文脈において。
• 現在の検索戦略開発手法の限界、特に時間消費、リソースの集中、誤りの発生しやすさを検討すること。
• 構造的なツール化を通じて、システマティックレビューの検索プロセスにおける透明性、説明可能性、再現性を向上させること。
• システマティックレビューの検索戦略策定を支援するソフトウェアツールのための実行可能な設計原則を提言すること。
• 情報検索のベストプラクティスと、健康・社会ケア分野の研究におけるシステマティックレビュー担当者の実際のニーズの間のギャップを埋めること。

提案手法

• 医療分野におけるシステマティックレビューにおける構造的で明確な情報ニーズに焦点を当てた包括的な文献レビューを実施する。
• 既存の検索戦略策定手法を分析し、複雑さ、標準化の欠如、ツール支援の不足といった繰り返し発生する問題を同定する。
• 発見を統合し、信頼性、透明性、再現性を高める検索戦略開発のための設計原則の枠組みを構築する。
• 検索戦略の構成要素、特にクエリの策定と関連性フィルタリングの自動化と文書化におけるツール化の役割を強調する。
• バージョン管理、監査証跡、人間によるフィードバックを組み込んだ改善を支援する原則を提言し、説明可能性を高める。
• 情報検索（IR）研究からの知見を統合し、システマティックレビューの実践を最新のIR技術と一致させる。

実験結果

リサーチクエスチョン

• RQ1 医療分野におけるシステマティックレビューの検索戦略策定における主な課題は何か？
• RQ2 現在の検索戦略開発手法は、システマティックレビューにおける再現性と透明性にどのように影響を与えるか？
• RQ3 システマティックレビューの検索戦略策定を支援するツールの信頼性と使いやすさを向上させるための設計原則は何か？
• RQ4 情報検索技術は、どのようにシステマティックレビューのワークフローを支援するために適応可能か？
• RQ5 どのようないくつかのツール化によって、感度や特異度に影響を与えることなく、検索戦略開発における時間と誤りの負担を軽減できるか？

主な発見

• システマティックレビューにおける検索戦略策定は、標準化されたツール支援のワークフローが欠如しているため、極めて複雑で時間がかかり、人的ミスの発生しやすい。
• 現在の実務では透明性と監査可能性に欠けていることが多く、異なるレビュー団体間での検索戦略の再現や検証が困難である。
• 最新の情報検索技術とそれらをシステマティックレビューのワークフローに応用する実践との間には顕著なギャップが存在する。
• 提案された設計原則は、バージョン管理、モularity、トレーサビリティに重点を置き、検索戦略の説明可能性と再現性を高める。
• 構造的なクエリ策定、ログ記録、共同レビューを支援するツール化は、誤りを著しく低減し、効率を向上させることができる。
• これらの原則を採用することで、健康・社会ケア分野の研究におけるより信頼性が高く、透明性があり、スケーラブルなシステマティックレビューのプロセスが実現可能になる。