[논문 리뷰] Developing an Evidence-Based Framework for Grading and Assessment of Predictive Tools for Clinical Decision Support

Mohamed Khalifa, Farah Magrabi외 1명|arXiv (Cornell University)|2019. 01. 01.

Clinical practice guidelines implementation참고 문헌 171인용 수 2

한 줄 요약

이 논문은 평가 단계, 증거 수준, 증거 방향의 세 가지 차원에서 임상 예측 도구를 평가하고 등급을 매기는 표준화되고 증거 기반의 시스템인 GRASP 프레임워크를 소개한다. 다섯 가지 도구를 평가한 결과, 오슬로 무릎 규칙(Ottawa Knee Rule)은 시행 후 영향력이 강해 가장 높은 등급을 받았고, LACE 지수는 시행 후 검증이 부족해 가장 낮은 등급을 받았다.

ABSTRACT

Background: Clinical predictive tools quantify contributions of relevant patient characteristics to derive likelihood of diseases or predict clinical outcomes. When selecting a predictive tool, for implementation at clinical practice or for recommendation in clinical guidelines, clinicians are challenged with an overwhelming and ever growing number of tools, most of which have never been implemented or assessed for comparative effectiveness. Objective: To develop a comprehensive framework to Grade and Assess Predictive tools (GRASP), and provide clinicians with a standardised, evidence based system to support their search for and selection of effective tools. Methods: A focused review of literature was conducted to extract criteria along which tools should be evaluated. An initial framework was designed and applied to assess and grade five tools: LACE Index, Centor Score, Wells Criteria, Modified Early Warning Score, and Ottawa knee rule. After peer review, by expert clinicians and healthcare researchers, the framework was revised and the grading of the tools was updated. Results: GRASP framework grades predictive tools based on published evidence across three dimensions: 1) Phase of evaluation; 2) Level of evidence; and 3) Direction of evidence. The final grade of a tool is based on the highest phase of evaluation, supported by the highest level of positive evidence, or mixed evidence that supports positive conclusion. Discussion and Conclusion: the GRASP framework builds on well established models and widely accepted concepts to provide standardised assessment and evidence based grading of predictive tools. Unlike other methods, GRASP is based on the critical appraisal of published evidence reporting the predictive tools predictive performance before implementation, potential effect and usability during implementation, and their post implementation impact.

연구 동기 및 목표

• 임상 예측 도구 평가를 위한 표준화되고 증거 기반의 방법이 부족한 문제를 해결하기 위해.
• 임상의사와 지침 개발자가 효과적이고 신뢰할 수 있는 예측 도구를 선택할 수 있도록 지원하기 위해.
• 사전, 시행 중, 시행 후 단계에서의 출판된 증거를 바탕으로 도구를 체계적으로 평가하고 등급을 매기는 체계적 프레임워크를 제공하기 위해.
• 임상 실무에서 주관적 또는 경험 기반의 도구 선택에 의존하는 것을 줄이기 위해.
• 투명하고 재현 가능한 방법을 통해 예측 도구의 벤치마킹 및 비교 평가를 가능하게 하기 위해.

제안 방법

• GRASP 프레임워크는 예측 도구 평가 기준을 추출하기 위해 집중적인 문헌 검토를 통해 개발되었다.
• 초기 프레임워크를 적용하여 다섯 가지 예측 도구—LACE 지수, Centor 점수, Wells 기준, 수정된 조기 위험 신호(MEWS), 오슬로 무릎 규칙—를 평가했다.
• 프레임워크는 세 가지 차원에서 도구를 평가한다: 평가 단계(사전, 시행 중, 시행 후), 증거 수준(예: 무작위 대조 시험, 코hort 연구), 증거 방향(긍정적, 부정적, 또는 혼합).
• 임상의사와 연구자들의 전문가 피어 리뷰를 통해 프레임워크를 정교화하고 도구 등급을 수정했다.
• 최종 등급은 가장 높은 평가 단계에서 강력한 긍정적 또는 혼합 증거로 뒷받침되는 경우에 도구의 총합 등급을 부여한다.
• 프레임워크는 실시간으로 증거와 등급에 접근할 수 있도록 온라인 플랫폼으로 구현되도록 설계되었다.

실험 결과

연구 질문

• RQ1 모든 시행 단계에서 출판된 증거를 바탕으로 예측 도구를 체계적으로 평가하고 등급을 매기는 방법은 무엇인가?
• RQ2 실제 임상 환경에서 임상 예측 도구의 품질과 신뢰성은 어떤 기준으로 정의되어야 하는가?
• RQ3 예측 도구의 시행 후 영향력이 증거 기반 총합 등급에 어떻게 영향을 미치는가?
• RQ4 기존 도구들이 시행 후 임상 결과, 효율성 또는 비용 효율성 향상에 대해 측정 가능한 개선을 보여주는 정도는 어느 정도인가?
• RQ5 표준화되고 증거 기반의 평가 체계가 임상 의사결정 및 지침 개발을 향상시킬 수 있는가?

주요 결과

• 오슬로 무릎 규칙은 시행 후 긍정적 영향력이 입증되어 가장 높은 GRASP 등급을 받았다. 이는 응급실 체류 시간이 평균 33.1분 감소하고 환자당 80달러의 비용 절감 효과가 있었다는 점에서 유의미했다.
• LACE 지수는 사전 평가에서만 증거가 있었고 시행 후 검증이 없어 가장 낮은 등급을 받았다. 이는 중간 예측 성능(AUC 0.72–0.84)을 보였지만 시행 후 효과는 확인되지 않았다.
• MEWS는 높은 예측 성능(AUC 0.89, 병원 내 사망률 예측)을 보였고, 시행 후 긍정적인 결과도 나타냈다. 이는 심각한 부작용 감소와 생체 징후 기록 향상과 관련이 있었다.
• Wells 기준은 시행 후 비정상적인 CTPA 촬영 비율이 30.7%에서 17.4%로 감소했고, 시행 후 불필요한 영상 검사 비율도 낮아졌다.
• 사용성 테스트 결과, Centor 점수와 Wells 기준은 임상의사들이 사용하기 쉽고 유용하다고 평가했으며, 임상 판단을 훼손하지 않았다.
• GRASP 프레임워크는 모든 평가 단계에서 체계적이고 투명하며 증거 기반의 도구 평가를 성공적으로 가능하게 했고, 외부 검증 및 시행 후 연구의 격차를 드러냈다.