[논문 리뷰] Accuracy of the Epic Sepsis Prediction Model in a Regional Health System

Tellen D. Bennett, Seth Russell외 7명|arXiv (Cornell University)|2019. 02. 19.

Sepsis Diagnosis and Treatment참고 문헌 2인용 수 5

한 줄 요약

이 연구는 다섯 개 병원으로 구성된 지역 보건 시스템에서 에픽 세프시스 예측 모델(ESPM)을 평가하며, 존재하는 초기 경고 점수(EWS) 시스템과의 비교를 통해 세프시스 예측 정확도를 분석한다. EHR 데이터를 사용하는 기계학습 모델인 ESPM은 AUC 0.73을 기록하여 EWS의 0.62를 뛰어넘어, 입원 초반에 세프시스를 조기에 식별하는 데 더 높은 양성 예측값, 재현율 및 전체 정확도를 보였다.

ABSTRACT

Interest in an electronic health record-based computational model that can accurately predict a patient's risk of sepsis at a given point in time has grown rapidly in the last several years. Like other EHR vendors, the Epic Systems Corporation has developed a proprietary sepsis prediction model (ESPM). Epic developed the model using data from three health systems and penalized logistic regression. Demographic, comorbidity, vital sign, laboratory, medication, and procedural variables contribute to the model. The objective of this project was to compare the predictive performance of the ESPM with a regional health system's current Early Warning Score-based sepsis detection program.

연구 동기 및 목표

• 실제 지역 보건 시스템 환경에서 에픽 세프시스 예측 모델(ESPM)의 예측 성능을 평가하기 위해.
• 기관 내 존재하는 EWS 기반 세프시스 검출 프로그램과 비교하여 ESPM의 세프시스 검출 정확도를 평가하기 위해.
• ESPM 경고의 시점과 락타트 수치와 같은 표준 임상 마커와의 임상적 관련성을 평가하기 위해.
• 현재 임상 관행과 비교하여 ESPM이 조기 세프시스 식별에 기여하는지 여부를 판단하기 위해.

제안 방법

• 2017년 6월 1일부터 2017년 10월 20일까지의 다섯 개 UCHealth 병원의 입원자 데이터를 사용한 후향적 코hort 연구.
• ESPM은 EHR 데이터(인구통계학적 정보, 생명체징후, 검사 결과, 약물 투여 내역, 공존질환 포함)를 기반으로 매 2시간마다 자동으로 계산되었다.
• EWS는 매 4시간마다 계산되었으며, 병상 인근 간호사가 수동으로 기록하였다. 점수 범위는 0–21이었다.
• 공존질환은 공개된 소프트웨어를 통해 ICD-10 CCS10 분류 체계를 사용하여 정의되었다.
• 모델 성능 평가에 표준 지표를 사용: AUC, 양성 예측값, 재현율, 음성 예측값, F1-스코어, 정확도.
• 주요 결과는 독점적인 Vizient 기준 코드셋을 통해 확보된 ICD-10 세프시스 진단 코드 여부였다.

실험 결과

연구 질문

• RQ1 지역 보건 시스템에서 기존 EWS 기반 세프시스 검출 시스템과 비교해 에픽 세프시스 예측 모델(ESPM)의 예측 정확도는 어떻게 되는가?
• RQ2 병원 과정 중에 ESPM이 세프시스 예측에 있어 임상적으로 유의미한 기준(≥5)에 처음 도달하는 시점은 언제인가?
• RQ3 ESPM 경고의 시점은 락타트 측정과 같은 주요 임상 마커와 비교해 어떻게 되는가?
• RQ4 특히 양성 예측값과 재현율 측면에서 ESPM이 후속 세프시스를 발병하는 환자를 식별하는 데 얼마나 성능이 좋았는가?

주요 결과

• ESPM은 수신기 작동 특성 곡선 아래 면적(AUC)이 0.73로, EWS의 0.62보다 유의미하게 높게 나타났다.
• ESPM은 양성 예측값이 0.44로 EWS의 0.33보다 높아, 진짜 세프시스 환자를 더 정확하게 식별하는 데 성공했다.
• ESPM의 재현율(감도)은 0.66으로 EWS의 0.61보다 높아, 세프시스를 발병한 환자를 더 잘 식별하는 데 기여했다.
• ESPM의 정확도는 0.78로 EWS의 0.64보다 높아, 전체 분류 성능에서 더 나은 성능을 보였다.
• ESPM 경고가 처음으로 ≥5에 도달한 중앙값은 입원 후 7시간이었으며, 첫 번째 락타트 측정 후 중앙값 7시간 후였고, IQR은 4–22였다.
• 세프시스가 있는 환자의 중앙값 ESPM 점수는 66이었고, 세프시스가 없는 환자의 중앙값은 40이었으며, ESPM 점수의 최고치는 EWS 점수보다 병원 과정의 초기에 도달했다.