[논문 리뷰] Examining Deep Learning Models with Multiple Data Sources for COVID-19 Forecasting

Lijing Wang, Aniruddha Adiga외 4명|arXiv (Cornell University)|2020. 10. 27.

COVID-19 epidemiological studies참고 문헌 34인용 수 6

한 줄 요약

이 논문은 카운티, 주, 국가 수준에서 COVID-19 신규 확진자 수를 향상된 주간 예측하기 위해 다중 데이터 소스—확진자 수, 사망자 수, 검사 수—를 통합한 순환 신경망(RNN) 기반 딥러닝 모델의 스태킹 앙상블을 제안한다. 데이터 부족과 과적합을 완화하기 위해 군집 기반 훈련을 적용함으로써, 복잡한 모델들인 그래프 신경망과는 달리 단순한 RNN 모델이 고해상도 예측에서 뛰어난 성능을 발휘한다.

ABSTRACT

The COVID-19 pandemic represents the most significant public health disaster since the 1918 influenza pandemic. During pandemics such as COVID-19, timely and reliable spatio-temporal forecasting of epidemic dynamics is crucial. Deep learning-based time series models for forecasting have recently gained popularity and have been successfully used for epidemic forecasting. Here we focus on the design and analysis of deep learning-based models for COVID-19 forecasting. We implement multiple recurrent neural network-based deep learning models and combine them using the stacking ensemble technique. In order to incorporate the effects of multiple factors in COVID-19 spread, we consider multiple sources such as COVID-19 confirmed and death case count data and testing data for better predictions. To overcome the sparsity of training data and to address the dynamic correlation of the disease, we propose clustering-based training for high-resolution forecasting. The methods help us to identify the similar trends of certain groups of regions due to various spatio-temporal effects. We examine the proposed method for forecasting weekly COVID-19 new confirmed cases at county-, state-, and country-level. A comprehensive comparison between different time series models in COVID-19 context is conducted and analyzed. The results show that simple deep learning models can achieve comparable or better performance when compared with more complicated models. We are currently integrating our methods as a part of our weekly forecasts that we provide state and federal authorities.

연구 동기 및 목표

• 다양한 지리적 해상도에서 주간 신규 COVID-19 확진자 수의 시공간 예측을 딥러닝을 통해 향상시키기.
• 유사한 유행 경향을 보이는 지역을 군집화하여, 데이터가 희박하고 노이즈가 많은 지역 시계열 데이터의 과적합 문제를 완화하기 위해 군집 기반 훈련을 활용하기.
• 확진자 수, 사망자 수, 검사 수 등 다중 데이터 소스를 딥러닝 모델에 통합함으로써 예측 정확도를 향상시키는 효과를 평가하기.
• 딥러닝 모델, 통계 모델, 기계적 모델(예: SEIR)의 성능을 비교하여 COVID-19 역학 예측에 대한 성능을 평가하기.
• 고해상도 장기 예측에서 더 단순한 딥러닝 아키텍처(예: RNN)가 더 복잡한 아키텍처(예: GNN)보다 우수한 성능을 보이는지 확인하기.

제안 방법

• 프레임워크는 확진자 수, 사망자 수, 검사 수 등 다중 데이터 소스에서 훈련된 RNN 기반 딥러닝 모델의 스태킹 앙상블을 활용한다.
• 공간적 영역을 추세 유사성에 따라 군집화하여 유사한 전파 경향을 보이는 지역 간에 모델 학습을 공유함으로써 과적합을 줄이기 위해 군집 기반 훈련을 적용한다.
• 세 가지 군집 방법을 평가: 지리적(geo), k-means, k-shape; k-shape 군집은 장기적 추세 유사성을 반영하고, geo-군집은 단기적 국지적 역학을 반영한다.
• 개별 모델의 예측을 스태킹을 통해 통합함으로써 다양한 예측 수준에서 일반화 능력과 강건성을 향상시킨다.
• 특징 공학에는 다중 입력 특징과 데이터 소스 간 상호의존성을 모델링하기 위한 어텐션 레이어를 포함한다.
• 모델 성능 평가에는 글로벌, 주, 카운티 수준의 데이터셋에서 RMSE, MAPE, 피어슨 상관계수(PCORR)를 사용한다.

실험 결과

연구 질문

• RQ1 확진자 수, 사망자 수, 검사 수 등 다중 데이터 소스 통합이 딥러닝 기반 COVID-19 예측 모델의 정확도를 향상시킬 수 있는가?
• RQ2 군집 기반 훈련은 데이터가 희박하고 노이즈가 많은 지역에서 모델의 일반화 능력 향상과 과적합 감소에 기여하는가?
• RQ3 고해상도 예측에서 단순한 RNN 모델이 GRU, LSTM, 그래프 신경망과 같은 더 복잡한 딥러닝 모델보다 성능이 뛰어나게 되는가?
• RQ4 딥러닝 모델의 성능은 통계 모델과 기계적 모델(예: AR, SEIR)에 비해 주간 신규 확진자 예측에서 어떻게 비교되는가?
• RQ5 지리적(geo), k-means, k-shape 중 어떤 군집 방법이 다양한 예측 수준에서 최고의 예측 성능을 내는가?

주요 결과

• 다중 소스 데이터를 통합한 RNN 기반 앙상블 모델이 모든 예측 수준과 지리적 해상도에서 최고의 전체 성능을 기록했다.
• 카운티 및 주 수준에서 1주일 전망 예측에서 단순한 RNN 모델이 GRU 및 LSTM보다 뛰어난 성능을 보였으며, 이는 데이터 부족 상황에서 모델 단순화가 일반화 능력을 향상시킨다는 것을 시사한다.
• 3주 및 4주 전망 예측에서는 GRU와 LSTM이 RNN보다 뛰어난 성능을 보였으며, 이는 장기 예측에서 더 정교한 기억 메커니즘이 유리함을 시사한다.
• 확진자 수, 사망자 수, 검사 수 등 다중 특징을 통합한 모델이 단일 특징 모델보다 정확도가 높아졌으며, 특히 주 및 카운티 수준에서 두드러졌다. 다만 글로벌 예측은 검사 데이터 누락으로 여전히 도전 과제로 남아 있다.
• k-shape 군집은 3주 및 4주 전망에서 최고의 성능을 보였고, geo-군집은 1주 및 2주 전망에서 최적의 성능을 보였다. 이는 다양한 군집 전략이 서로 다른 시간 동적 특성을 반영한다는 것을 의미한다.
• 앙상블 모델은 개별 모델, 전통적 기계학습 모델, 최신 딥러닝 모델을 모두 압도적으로 뛰어넘었으며, 전염병 예측에서 모델 스태킹의 가치를 입증했다.