[논문 리뷰] predCOVID-19: A Systematic Study of Clinical Predictive Models for Coronavirus Disease 2019

Patrick Schwab, August DuMont Schütte외 2명|arXiv (Cornell University)|2020. 05. 17.

COVID-19 diagnosis using AI인용 수 12

한 줄 요약

이 연구는 일상적으로 수집되는 임상 데이터를 사용하여 코로나19 환자의 SARS-CoV-2 검사 양성 반응, 입원, 중환자실 치료 필요성을 예측하는 기계학습 모델을 개발한다. 모델은 사전 검사 양성 반응 예측에서 75% 민감도와 49% 특이도를 기록했으며, 입원 예측에서는 AUC 0.92, 중환자실 치료 필요성 예측에서는 AUC 0.98를 달성하여 임상적 분류 및 자원 배분에 강력한 잠재력을 보여준다.

ABSTRACT

Coronavirus Disease 2019 (COVID-19) is a rapidly emerging respiratory disease caused by the severe acute respiratory syndrome coronavirus 2 (SARS-CoV-2). Due to the rapid human-to-human transmission of SARS-CoV-2, many healthcare systems are at risk of exceeding their healthcare capacities, in particular in terms of SARS-CoV-2 tests, hospital and intensive care unit (ICU) beds and mechanical ventilators. Predictive algorithms could potentially ease the strain on healthcare systems by identifying those who are most likely to receive a positive SARS-CoV-2 test, be hospitalised or admitted to the ICU. Here, we study clinical predictive models that estimate, using machine learning and based on routinely collected clinical data, which patients are likely to receive a positive SARS-CoV-2 test, require hospitalisation or intensive care. To evaluate the predictive performance of our models, we perform a retrospective evaluation on clinical and blood analysis data from a cohort of 5644 patients. Our experimental results indicate that our predictive models identify (i) patients that test positive for SARS-CoV-2 a priori at a sensitivity of 75% (95% CI: 67%, 81%) and a specificity of 49% (95% CI: 46%, 51%), (ii) SARS-CoV-2 positive patients that require hospitalisation with 0.92 AUC (95% CI: 0.81, 0.98), and (iii) SARS-CoV-2 positive patients that require critical care with 0.98 AUC (95% CI: 0.95, 1.00). In addition, we determine which clinical features are predictive to what degree for each of the aforementioned clinical tasks. Our results indicate that predictive models trained on routinely collected clinical data could be used to predict clinical pathways for COVID-19, and therefore help inform care and prioritise resources.

연구 동기 및 목표

• 일상적으로 수집되는 임상 데이터를 활용하여 SARS-CoV-2 검사 결과, 입원, 중환자실 치료 필요성을 예측하는 기계학습 모델을 개발한다.
• 실제 임상 환자 5,644명의 코hort에서 이러한 모델의 예측 성능을 평가한다.
• 임상적 의사결정 지원을 위해 각 임상 결과에 대해 가장 예측력이 높은 임상 특징을 규명한다.
• 고위험 환자 조기에 식별함으로써 의료 시스템 자원 계획을 지원한다.

제안 방법

• 의심 또는 확진된 SARS-CoV-2 감염 환자 5,644명의 임상 및 혈액 검사 데이터를 바탕으로 한 후향적 분석.
• 생체 징후, 검사 결과, 기저질환과 같은 일상적으로 수집되는 임상 변수를 기반으로 기계학습 알고리즘을 적용.
• 모델 성능 평가를 위해 수신기 작동 특성(ROC) 곡선 분석을 활용하며, 95% 신뢰구간을 포함한 AUC를 보고한다.
• 개별 임상 변수가 모델 예측에 기여하는 정도를 파악하기 위해 특징 중요도 분석을 실시.
• 모델의 강건성과 일반화 능력을 확보하기 위해 분层된 교차검증을 사용하여 모델 학습 및 평가.
• 사전 검사 양성 반응, 입원, 중환자실 치료 필요성의 세 가지 임상 결과에 대해 별도의 모델링을 수행.

실험 결과

연구 질문

• RQ1 일상적으로 수집되는 임상 데이터로 검사 이전에 SARS-CoV-2 양성 반응을 예측할 수 있는가?
• RQ2 SARS-CoV-2 확진 후 입원이 필요한 환자를 식별하기 위한 기계학습 모델의 예측 성능는 어떠한가?
• RQ3 SARS-CoV-2 양성 환자 중 중환자실 치료가 필요한 환자를 얼마나 정확하게 예측할 수 있는가?
• RQ4 각 세 가지 임상 결과에 대해 가장 예측력이 높은 임상 특징는 무엇인가?

주요 결과

• 사전 검사 양성 반응 예측에서 모델은 75% 민감도(95% CI: 67%, 81%)와 49% 특이도(95% CI: 46%, 51%)를 기록했다.
• SARS-CoV-2 양성 환자에서 입원 예측에 대해 모델은 AUC 0.92(95% CI: 0.81, 0.98)를 달성했다.
• SARS-CoV-2 양성 환자에서 중환자실 치료 필요성 예측에 대해 모델은 AUC 0.98(95% CI: 0.95, 1.00)를 달성했다.
• 각 결과에 대해 높은 예측력을 보이는 특정 임상 특징를 규명하여 표적적 임상 분류를 가능하게 했다.
• 결과는 일상 임상 데이터로 학습된 기계학습 모델이 코로나19 환자의 임상 경로를 효과적으로 예측할 수 있음을 보여준다.
• 높은 AUC 값은 특히 중환자실 치료 예측에서 강력한 분류 능력을 보이며, 자원 우선 배정을 위한 임상 적용을 뒷받침한다.