[논문 리뷰] Development and Validation of a Deep Learning Model for Prediction of Severe Outcomes in Suspected COVID-19 Infection

Buch, Aoxiao Zhong외 9명|arXiv (Cornell University)|2021. 03. 21.

COVID-19 diagnosis using AI참고 문헌 20인용 수 4

한 줄 요약

이 연구는 응급실(ED) 내역 제출 후 24–72시간 이내에 의심 환자에서 중증 결과를 예측하기 위해 전자 건강 기록(EHR) 데이터와 흉부 X선(CXR) 영상 데이터를 통합한 딥러닝 모델 CO-RISK를 개발하고 검증한다. 모델은 24시간 시점에서 AUC 0.95, 73시간 시점에서 AUC 0.92를 기록하며, 중환자실(ICU)/병동 전립 결정 시 임상 위험 점수와 의료진 판단을 능가한다.

ABSTRACT

COVID-19 patient triaging with predictive outcome of the patients upon first present to emergency department (ED) is crucial for improving patient prognosis, as well as better hospital resources management and cross-infection control. We trained a deep feature fusion model to predict patient outcomes, where the model inputs were EHR data including demographic information, co-morbidities, vital signs and laboratory measurements, plus patient's CXR images. The model output was patient outcomes defined as the most insensitive oxygen therapy required. For patients without CXR images, we employed Random Forest method for the prediction. Predictive risk scores for COVID-19 severe outcomes ("CO-RISK" score) were derived from model output and evaluated on the testing dataset, as well as compared to human performance. The study's dataset (the "MGB COVID Cohort") was constructed from all patients presenting to the Mass General Brigham (MGB) healthcare system from March 1st to June 1st, 2020. ED visits with incomplete or erroneous data were excluded. Patients with no test order for COVID or confirmed negative test results were excluded. Patients under the age of 15 were also excluded. Finally, electronic health record (EHR) data from a total of 11060 COVID-19 confirmed or suspected patients were used in this study. Chest X-ray (CXR) images were also collected from each patient if available. Results show that CO-RISK score achieved area under the Curve (AUC) of predicting MV/death (i.e. severe outcomes) in 24 hours of 0.95, and 0.92 in 72 hours on the testing dataset. The model shows superior performance to the commonly used risk scores in ED (CURB-65 and MEWS). Comparing with physician's decisions, CO-RISK score has demonstrated superior performance to human in making ICU/floor decisions.

연구 동기 및 목표

• 응급실에서 의심 코로나19 환자의 조기 전립을 향상시키기 위해 기계적 산소치료나 사망과 같은 중증 결과를 예측하는 것.
• 다중모달 데이터—EHR(연령, 기저질환, 생명체징후, 검사결과)와 CXR 영상—을 통합하여 통합 예측 모델을 개발하는 것.
• 임상적으로 활용 가능한 위험 점수(CO-RISK)를 개발하여 의료 현장에서 자원 배분과 감염 통제를 지원하는 것.
• 기존 임상 위험 점수(CURB-65, MEWS)와 의료진 결정을 기준으로 모델 성능을 검증하는 것.
• CXR 영상이 제공되지 않는 환자에서의 모델의 강건성을 평가하기 위해 랜덤 포레스트 대체 모델을 사용하는 것.

제안 방법

• 기계적 산소치료 수준 최대치를 중증 결과의 대체 지표로 삼아, EHR 및 CXR 데이터를 기반으로 딥 페처 퓌전 모델을 훈련시켰다.
• CXR 영상이 없는 환자에게는 예측 능력을 유지하기 위해 랜덤 포레스트 모델을 후속 대체 수 Mittel로 사용하였다.
• 모델은 2020년 3월 1일부터 6월 1일까지 매사추세츠 기독교 병원 시스템에서 확진 또는 의심 코로나19 환자 11,060명의 코hort에서 훈련되었다.
• CXR 영상은 컨volutional 신경망(CNN) 아키텍처를 사용하여 영상학적 특징을 추출하고, 이를 표본형 EHR 특징과 융합하였다.
• 최종 CO-RISK 점수는 모델 출력에서 유도되었으며, 임상 해석 가능성과 위험 분류를 위해 校정되었다.
• 모델 성능 평가에는 보류된 테스트 세트에서 수신기 작동 특성 곡선 아래 면적(AUC)을 사용하였다.

실험 결과

연구 질문

• RQ1 EHR와 CXR 데이터를 융합한 딥러닝 모델이 기존 임상 위험 점수보다 더 높은 정확도로 중증 코로나19 결과(예: 기계적 산소치료 또는 사망)를 예측할 수 있는가?
• RQ2 CO-RISK 모델의 성능는 응급실 의료진이 중환자실 또는 병동 입원 결정을 내리는 데 비해 어떻게 비교되는가?
• RQ3 CXR 영상이 제공되지 않을 경우 모델의 예측 성능는 어떠한가? 그리고 후속 랜덤 포레스트 모델의 성능는 어떠한가?
• RQ4 영상 데이터의 포함 여부가 EHR 전용 모델 대비 예측 정확도 향상에 유의미한 기여를 하는가?
• RQ5 CO-RISK 점수는 병원 자원 배분과 감염 통제를 최적화하기 위해 조기에 전립에 신뢰성 있게 사용될 수 있는가?

주요 결과

• CO-RISK 모델은 테스트 데이터셋에서 응급실 내역 제출 후 24시간 이내에 중증 결과(MV/사망)를 예측할 때 AUC 0.95를 기록하였다.
• 72시간 시점에서는 AUC 0.92를 유지하여 시간이 지남에도 불구하고 높은 예측 정확도를 유지함을 보였다.
• 모델은 중증 결과 예측에서 CURB-65 및 MEWS 임상 위험 점수를 뚜렷이 능가하였다.
• CO-RISK는 중환자실 입원이 필요한 환자와 병동 입원이 필요한 환자를 구분하는 데 있어 의료진의 전립 결정보다 뛰어난 성능을 보였다.
• CXR 영상이 제공되지 않는 환자에게서도 랜덤 포레스트 후속 방법을 사용하여 높은 성능를 유지하였다.
• 본 연구는 EHR와 영상 데이터의 다중모달 통합이 중증 코로나19 결과의 조기 예측을 향상시킨다는 것을 확인하였다.