[논문 리뷰] Ensemble Machine Learning Methods for Modeling COVID19 Deaths

Rahil Bathwal, Pavan Chitta외 2명|arXiv (Cornell University)|2020. 10. 04.

COVID-19 epidemiological studies참고 문헌 12인용 수 4

한 줄 요약

이 논문은 미국의 카운티 수준에서 매일의 코로나19 사망자 수의 분위수 예측을 위해 전염병학적(SEIR-QD) 모델과 기계학습 모델(LSTM, 기울기 부스팅 트리, 랜덤 포레스트, 신경망)을 융합한 앙상블 기계학습 모델을 제안한다. 모델은 9개의 분위수(10~90분위수)에서 핀볼 손실을 최소화하며, 캘테크 모델링 경쟁에서 50개 이상의 팀을 압도하는 최첨단 성능을 기록했다. 14일 예측의 핀볼 손실은 1.4543, RMSE는 0.0896을 기록했다.

ABSTRACT

Using a hybrid of machine learning and epidemiological approaches, we propose a novel data-driven approach in predicting US COVID-19 deaths at a county level. The model gives a more complete description of the daily death distribution, outputting quantile-estimates instead of mean deaths, where the model's objective is to minimize the pinball loss on deaths reported by the New York Times coronavirus county dataset. The resulting quantile estimates accurately forecast deaths at an individual-county level for a variable-length forecast period, and the approach generalizes well across different forecast period lengths. We won the Caltech-run modeling competition out of 50+ teams, and our aggregate is competitive with the best COVID-19 modeling systems (on root mean squared error).

연구 동기 및 목표

• 미국 카운티 수준의 고해상도이고 지역 맞춤형의 패닉 예측 도구가 부족한 점을 해결하기 위해, 국가 수준의 모델이 질병 확산의 지역적 격차를 반영하지 못하는 문제를 해결한다.
• 평균 예측에만 의존하는 기존 방식을 개선하기 위해, 불확실성과 심각도 분포를 반영하는 완전한 분위수 예측(10~90분위수)을 제공한다.
• 전염병학적 사전 지식(SEIR-QD)과 데이터 기반 기계학습 모델(LSTM, 기울기 부스팅, 랜덤 포레스트)을 융합하여 강건하고 일반화 능력이 뛰어난 카운티 수준의 예측을 구현한다.
• 각 분위수에서 과소 및 과대 예측 오차를 다르게 가중하는 핀볼 손실 지표를 사용하여 모델 성능을 최적화함으로써, 더 나은 불확실성 정량화를 가능하게 한다.
• 정책 결정 및 자원 배분을 위한 실질적인 지역 맞춤형 예측을 제공하여, 패닉 기간 동안 정책 입안자들이 의사결정을 내릴 수 있도록 지원한다.

제안 방법

• 뉴욕 타임스, 버클리, 디스카르트 랩스 데이터셋에서 유래한 동적 특징(지연된 사례 수, 사망자 수, 이동성)과 정적 특징(인구 밀도, 카운티 인구 통계)을 사용한다.
• 지연된 특징(예: 7일 및 14일 지연)은 시간적 의존성을 포착하기 위해 사용되며, 이동성 데이터는 누락된 값을 메우기 위해 전진 채우기 방식으로 보간된다.
• 새로운 시계열 임베딩 방법을 통해 매일의 사망자 수 시계열을 4×4 풀링된 특징 맵(16차원 벡터)으로 변환하고, K-평균(K=6)을 사용해 군집화하여 카운티별 군집 특징을 생성한다.
• 최종 앙상블 모델은 다양한 아키텍처(LSTM, 기울기 부스팅 트리, 랜덤 포레스트, 신경망, SEIR-QD)의 예측을 가중 평균 방식으로 융합하여 강건성을 향상시킨다.
• 모델 평가에는 9개 분위수의 핀볼 손실을 사용하며, 이는 각 분위수별 손실의 평균으로서, 목표 분위수에 따라 과소 및 과대 예측 오차를 비대칭적으로 가중한다.
• 모델은 변동 가능한 예측 윈도우 길이를 기반으로 훈련 및 평가되며, 2020년 5월 기준 미국 카운티 수준의 데이터를 대상으로 성능을 측정한다.

실험 결과

연구 질문

• RQ1 기계학습과 전염병학적 모델을 융합한 하이브리드 모델이, 평균 예측 전용 또는 단일 모델 방식에 비해 카운티 수준의 코로나19 사망자 예측 성능을 향상시킬 수 있는가?
• RQ2 핀볼 손실 최적화를 통해 10~90분위수의 분위수 예측을 사용할 경우, 평균 예측에 비해 더 신뢰도 있고 정보가 풍부한 예측을 얻을 수 있는가?
• RQ3 LSTM, 기울기 부스팅, 랜덤 포레스트 등의 다양한 기계학습 아키텍처와 SEIR-QD 등의 전염병학적 모델이 앙상블로 통합되었을 때 성능에 어떤 영향을 미치는가?
• RQ4 지연된 동적 특징(사례 수, 사망자 수, 이동성)과 시간적 특징(요일, 날짜 오프셋)이 예측 정확도에 얼마나 기여하는가?
• RQ5 모델이 다양한 예측 길이에 일반화되어 있으며, 다양한 미국 카운티에서 낮은 오차를 유지하고 일관된 성능을 발휘할 수 있는가?

주요 결과

• 앙상블 모델은 2020년 5월 25일~6월 4일 기간의 14일 예측 기간 동안 핀볼 손실 1.4543, RMSE 0.0896을 기록하며 캘테크 모델링 경쟁에서 50개 이상의 팀을 압도했다.
• LSTM과 앙상블 모델이 가장 뛰어난 성능을 보였으며, 앙상블 모델은 두 예측 기간 모두에서 가장 낮은 핀볼 손실(1.4543)과 RMSE(0.0896)를 기록했다.
• 지연된 사례 수, 사망자 수, 이동성 특징이 가장 예측력 있는 입력이었으며, 모든 모델에서 지연된 사례 수가 가장 중요한 예측 변수였다.
• 요일 및 날짜 오프셋 등의 시간적 특징은 예측 성능을 향상시켰으며, 이는 보고 주기와 패닉 단계 전환을 반영하기 때문일 것이다.
• 정적 특징인 인구 밀도는 제한적이지만 비영향 없는 예측력을 보였으며, 동적 특징이 모델 성능를 지배했다.
• 모델는 다양한 예측 길이에 대해 잘 일반화되었으며, 변동 가능한 예측 윈도우에서도 낮은 오차와 일관된 성능을 유지했다.