[논문 리뷰] A Recurrent Neural Network and Differential Equation Based Spatiotemporal Infectious Disease Model with Application to COVID-19

Zhijian Li, Yunling Zheng외 2명|arXiv (Cornell University)|2020. 07. 14.

COVID-19 epidemiological studies인용 수 4

한 줄 요약

이 논문은 지역 감염 동역학을 기반으로 한 이산 SIR 유도 I-방정식과 이주 신경망(LSTM)을 조합한 하이브리드 시공간 모델인 IeRNN을 제안한다. 이는 인접 지역의 공간적 의존성을 포착하기 위해 설계되었으며, 이탈리아의 제한된 코로나19 데이터로 훈련되었을 때, 1일, 3일, 7일 예측에서 RNN, SIR, ARIMA 및 완전 연결 신경망보다 뛰어난 성능을 보였다. 특히 데이터가 적은 환경에서 뛰어난 성능을 발휘한다.

ABSTRACT

The outbreaks of Coronavirus Disease 2019 (COVID-19) have impacted the world significantly. Modeling the trend of infection and real-time forecasting of cases can help decision making and control of the disease spread. However, data-driven methods such as recurrent neural networks (RNN) can perform poorly due to limited daily samples in time. In this work, we develop an integrated spatiotemporal model based on the epidemic differential equations (SIR) and RNN. The former after simplification and discretization is a compact model of temporal infection trend of a region while the latter models the effect of nearest neighboring regions. The latter captures latent spatial information. %that is not publicly reported. We trained and tested our model on COVID-19 data in Italy, and show that it out-performs existing temporal models (fully connected NN, SIR, ARIMA) in 1-day, 3-day, and 1-week ahead forecasting especially in the regime of limited training data.

연구 동기 및 목표

• 출현 중인 유행병(예: 코로나19) 기간 동안 매일의 데이터가 제한된 상황에서 정확한 실시간 전염병 확산 예측 문제를 해결하기 위해.
• SIR 모델의 생물학적으로 해석 가능한 동역학과 RNN의 공간 표현 능력을 융합하여 시공간 예측 성능을 향상시키기 위해.
• 소규모 훈련 데이터셋에도 불구하고 실시간 구현에 적합한 컴act하고 신속하게 훈련 가능한 모델을 개발하기 위해.
• 데이터 부족 상황에서 기존의 시간적 모델들(예: ARIMA, 완전 연결 신경망, 순수 SIR)보다 다단계 예측 성능을 뛰어나게 하기 위해.

제안 방법

• 모델은 단일 지역 내 감염자 수의 시간적 변화를 기록하기 위해 SIR 미분 방정식에서 유도된 이산 시간 I-방정식을 사용한다.
• I-방정식은 지역 감염 추세를 고도로 데이터 효율적으로 모델링하는 3개의 파라미터로 구성된 컴act한 차분 방정식이다.
• 별도의 LSTM 네트워크는 가장 가까운 인접 지역으로부터의 잠재적 공간적 영향을 모델링하여, 관측되지 않은 감염 유입을 포착한다.
• LSTM은 인접 지역의 집계된 감염 데이터를 처리하여 I-방정식에 피드백되는 잠재적 강제항을 생성한다.
• 하이브리드 모델은 이탈리아 지역의 관측된 일일 확진자 수를 사용하여 엔드 투 엔드로 훈련되며, 기울기 하강법을 통해 손실을 최소화한다.
• 훈련 과정은 속도 최적화가 이루어져 표준 하드웨어에서도 1초 미만의 훈련 시간을 확보하여 실시간 예측이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 에피데미올로지적 역학과 RNN 기반 공간 모델링을 융합한 컴act하고 데이터 효율적인 모델이 신속한 예측 정확도를 향상시킬 수 있는가?
• RQ2 단순화된 SIR 기반 I-방정식과 공간 RNN의 융합이 데이터가 적은 환경에서 순수 딥러닝 또는 전통적 통계 모델보다 어떻게 비교되는가?
• RQ3 훈련 데이터를 원래 크기의 40%로 줄였을 때, 모델의 예측 정확도 유지 정도는 어느 정도인가?
• RQ4 LSTM을 통한 공간 상호작용 통합이 순수 시간 모델(예: ARIMA 또는 완전 연결 네트워크)에 비해 예측 성능을 어떻게 크게 향상시키는가?
• RQ5 최소한의 계산 비용으로도 고정확도를 유지하면서 실시간 추론을 달성할 수 있는가?

주요 결과

• IeRNN은 모든 테스트 지역(Lombardy, Emilia-Romagna, Lazio)에서 1일 전망 예측에서 가장 낮은 RMSE를 기록했으며, 훈련 데이터의 70%를 사용했을 때 각각 1.027e-04, 6.333e-05, 3.251e-05의 오차를 기록했다.
• 훈련 데이터를 40%로 줄였을 때도 IeRNN은 강력한 성능을 유지했으며, 1일 전망 예측에서 각각 Lombardy: 9.850e-05, Emilia-Romagna: 1.778e-04, Lazio: 3.617e-05의 RMSE를 기록했다.
• 7일 전망 예측에서는 IeRNN이 모든 다른 모델을 압도했으며, 특히 40% 데이터 환경에서 Lombardy에서 최대 7배의 성능 우위를 보였다.
• 모델의 추론 시간은 평균 0.018초였고, 훈련 시간은 0.6초 미만이었으며, 이는 실시간 배포에 적합함을 의미한다.
• I-방정식 구성 요소만으로 이루어진 I-model은 단기 예측에서 성능이 열악했으며, 이는 LSTM 기반 공간 모델링이 정확도 향상에 필수적임을 시사한다.
• 최소 46일 간의 데이터로도 훈련된 모델이 감염률의 일반적 추세를 성공적으로 추적했으며, 데이터 부족 상황에서도 뛰어난 강건성을 입증했다.