[論文レビュー] Developing an Evidence-Based Framework for Grading and Assessment of Predictive Tools for Clinical Decision Support

Mohamed Khalifa, Farah Magrabi+1 more|arXiv (Cornell University)|Jan 1, 2019

Clinical practice guidelines implementation参考文献 171被引用数 2

ひとこと要約

本論文は、段階的評価、証拠のレベル、証拠の方向性の3つの次元に基づき、臨床予測ツールを標準的かつ証拠に基づいて評価・格付けするGRASPフレームワークを紹介する。5つのツールを評価した結果、オタワ膝ルールは実装後の影響が強く、最高の格付けを獲得した一方、LACEインデックスは実装後の証拠が限定的であるため、最低の格付けとなった。

ABSTRACT

Background: Clinical predictive tools quantify contributions of relevant patient characteristics to derive likelihood of diseases or predict clinical outcomes. When selecting a predictive tool, for implementation at clinical practice or for recommendation in clinical guidelines, clinicians are challenged with an overwhelming and ever growing number of tools, most of which have never been implemented or assessed for comparative effectiveness. Objective: To develop a comprehensive framework to Grade and Assess Predictive tools (GRASP), and provide clinicians with a standardised, evidence based system to support their search for and selection of effective tools. Methods: A focused review of literature was conducted to extract criteria along which tools should be evaluated. An initial framework was designed and applied to assess and grade five tools: LACE Index, Centor Score, Wells Criteria, Modified Early Warning Score, and Ottawa knee rule. After peer review, by expert clinicians and healthcare researchers, the framework was revised and the grading of the tools was updated. Results: GRASP framework grades predictive tools based on published evidence across three dimensions: 1) Phase of evaluation; 2) Level of evidence; and 3) Direction of evidence. The final grade of a tool is based on the highest phase of evaluation, supported by the highest level of positive evidence, or mixed evidence that supports positive conclusion. Discussion and Conclusion: the GRASP framework builds on well established models and widely accepted concepts to provide standardised assessment and evidence based grading of predictive tools. Unlike other methods, GRASP is based on the critical appraisal of published evidence reporting the predictive tools predictive performance before implementation, potential effect and usability during implementation, and their post implementation impact.

研究の動機と目的

• 臨床予測ツールを評価するための標準的で証拠に基づいた手法の不足に対処すること。
• 臨床医およびガイドライン作成者による、効果的で信頼性の高い予測ツールの選択を支援すること。
• 事前・実施中・実施後の各段階における公表済み証拠に基づき、ツールを体系的に格付けするフレームワークを提供すること。
• 臨床現場における主観的または経験的選択に依存するのを減らすこと。
• 透明で再現可能な方法により、予測ツールのベンチマーク化と比較評価を可能にすること。

提案手法

• GRASPフレームワークは、予測ツールの評価基準を抽出するために焦点を当てた文献レビューを通じて開発された。
• 初期のフレームワークを用いて、LACEインデックス、センター点、ウェルズ基準、改訂版早期警戒スコア（MEWS）、オタワ膝ルールの5つの予測ツールを評価した。
• フレームワークは、段階的評価（事前・実施中・実施後）、証拠のレベル（例：RCT、コhort研究）、証拠の方向性（肯定的、否定的、または混合）の3つの次元でツールを評価する。
• 臨床医および研究者による専門家による共同レビューを通じて、フレームワークの洗練とツールの格付けの見直しが行われた。
• 最終的な格付けでは、最も高い段階的評価において、強固な肯定的または混合証拠が裏付けられる場合に、ツールの総合格付けが決定される。
• フレームワークは、証拠と格付けへのリアルタイムアクセスを支援するオンラインプラットフォームとしての実装を想定している。

実験結果

リサーチクエスチョン

• RQ1 実装の全段階にわたる公表済み証拠に基づき、予測ツールを体系的に評価・格付けする方法は何か？
• RQ2 臨床現場における質と信頼性の高い臨床予測ツールを定義する基準とは何か？
• RQ3 予測ツールの実装後の影響が、全体的な証拠に基づく格付けにどのように影響するか？
• RQ4 既存のツールは、実装後、臨床的結果、効率性、費用対効果の面で測定可能な改善を示しているか？
• RQ5 標準的で証拠に基づいた格付けシステムは、臨床意思決定およびガイドライン開発を改善できるか？

主な発見

• オタワ膝ルールは、実装後の肯定的影響が裏付けられ、最高のGRASP格付けを獲得した。具体的には、救急科滞在時間が平均33.1分短縮され、患者1人あたり80米ドルの費用削減が見られた。
• LACEインデックスは、実装後の検証がなく、事前段階での中程度の予測性能（AUC 0.72–0.84）しか証拠がなく、最低の格付けとなった。
• MEWSは優れた予測性能（入院死亡のAUC 0.89）を示し、実装後の肯定的結果も得られた。具体的には、重篤な合併症の発生が減少し、生命徴収の記録が改善された。
• ウェルズ基準は、不適切なCTPAスキャンの割合が30.7％から17.4％に有意に減少し、実装後の不適切な画像診断の頻度も低下した。
• ユーザビリティテストの結果、センター点とウェルズ基準の両方が、臨床判断を損なわず、臨床医によって使いやすく役立つと評価された。
• GRASPフレームワークは、全評価段階にわたる体系的で透明性があり、証拠に基づいたツールの格付けに成功した。外部の妥当性検証と実装後の研究のギャップが浮き彫りになった。