[논문 리뷰] Do not forget interaction: Predicting fatality of COVID-19 patients using logistic regression

Feng Zhou, Tao Chen외 1명|arXiv (Cornell University)|2020. 06. 30.

COVID-19 Clinical Research Studies참고 문헌 9인용 수 12

한 줄 요약

이 연구는 락틱 탈수소효소(LDH), 림프구 비율, 고감도 C반응성단백질(hs-CRP) 및 이들 간의 상호작용을 포함한 세 가지 핵심 혈액 생물표지물질을 사용하여 설명 가능한 로지스틱 회귀 모델을 제안한다. 이 모델은 93.92%의 정확도를 기록하며, 임계 확률 0.8일 때 평균적으로 사망을 11.30일 앞서 예측하여 조기 임상 간섭과 자원 최적화를 가능하게 한다.

ABSTRACT

Amid the ongoing COVID-19 pandemic, whether COVID-19 patients with high risks can be recovered or not depends, to a large extent, on how early they will be treated appropriately before irreversible consequences are caused to the patients by the virus. In this research, we reported an explainable, intuitive, and accurate machine learning model based on logistic regression to predict the fatality rate of COVID-19 patients using only three important blood biomarkers, including lactic dehydrogenase, lymphocyte (%) and high-sensitivity C-reactive protein, and their interactions. We found that when the fatality probability produced by the logistic regression model was over 0.8, the model had the optimal performance in that it was able to predict patient fatalities more than 11.30 days on average with maximally 34.91 days in advance, an accumulative f1-score of 93.76% and and an accumulative accuracy score of 93.92%. Such a model can be used to identify COVID-19 patients with high risks with three blood biomarkers and help the medical systems around the world plan critical medical resources amid this pandemic.

연구 동기 및 목표

• 코로나19 환자의 사망을 정확하고 설명 가능하며 직관적인 기계학습 모델로 예측하기 위해 개발한다.
• 기존의 이진 결정 모델을 개선하여 예측 결과를 '예/아니요'가 아닌 확률 기반의 사망 예측을 제공한다.
• 예측 성능을 향상시키기 위해 핵심 생물표지물질 간의 상호작용 효과를 통합한다.
• 단지 세 가지 일반적으로 측정되는 혈액 생물표지물질만을 사용하여 고위험 환자를 조기에 식별할 수 있도록 한다.
• 대유행 기간 동안 임상 의사결정 지원 및 중증 의료 자원 최적화를 지원한다.

제안 방법

• 주요 예측변수로 LDH, 림프구 비율(%) 및 hs-CRP를 사용하여 단계적 로지스틱 회귀 모델을 적합시켰다.
• 조정된 R²와 p-값을 기반으로 두 번째 차수의 상호작용 항(LDH:림프구 및 LDH:hs-CRP)을 체계적으로 포함 여부를 평가하였다.
• 모델의 강건성과 일반화 능력을 확보하기 위해 100라운드에 걸쳐 5배 교차검증을 수행하였다.
• 최종 모델은 500개의 교차검증 모델에서의 중앙값 계수를 사용하여 안정적인 예측을 도출하였다.
• 다일 전 예측 분석을 수행하여 모델이 얼마나 일찍 환자 결과를 정확히 예측할 수 있는지 평가하였다.
• 검증을 위해 외부 테스트 세트 110명을 사용하여 모델의 성능을 미리 보지 못한 데이터에서 평가하였다.

실험 결과

연구 질문

• RQ1 생물표지물질 간의 상호작용을 포함한 로지스틱 회귀 모델이 상호작용 없이 구성된 모델에 비해 코로나19 환자 사망 예측 정확도를 향상시킬 수 있는가?
• RQ2 사망 예측의 조기 경고 시간과 성능 지표를 최대화하는 데 가장 적합한 임계 확률은 무엇인가?
• RQ3 모델은 임상 발현 또는 사망 시점보다 얼마나 일찍 환자 결과를 예측할 수 있으며, 평균 리드 타임은 얼마인가?
• RQ4 LDH, 림프구 및 hs-CRP 간의 상호작용 항목을 포함함으로써 주효과만 고려한 모델에 비해 성능이 유의미하게 향상되는가?
• RQ5 이 모델은 임상적으로 해석 가능하고 실행 가능한 사망 확률을 제공하여 자원 계획을 지원할 수 있는가?

주요 결과

• 임계 확률 0.8로 사망을 예측할 경우 모델은 누적 정확도 93.92%와 누적 F1-스코어 93.76%를 기록하였다.
• 모델은 평균적으로 사망을 11.30일 앞서 예측하였으며, 최대 리드 타임은 34.91일이었다.
• 외부 테스트 세트 110명에 대해 모델은 평균적으로 사망을 12.76일 앞서 예측하였으며, 정확도 96.47%와 F1-스코어 95.73%를 기록하였다.
• LDH:림프구 및 LDH:hs-CRP 상호작용 항목의 포함으로 모델 성능이 유의미하게 향상되었으며, 조정된 R² = 0.797이었다.
• 모델은 평균 리드 타임과 누적 F1-스코어, 정확도 모두 이전의 의사결정나무 모델을 능가하였다.
• 임계 확률 0.8이 최적으로 확인되었으며, 이 이상의 확률을 가진 환자는 높은 신뢰도로 사망할 것으로 예측되었다.