[논문 리뷰] A comparison of short-term probabilistic forecasts for the incidence of COVID-19 using mechanistic and statistical time series models

Nicolas Banholzer, Thomas A. Mellan외 4명|arXiv (Cornell University)|2023. 05. 01.

COVID-19 epidemiological studies인용 수 4

한 줄 요약

이 연구는 미국 6개 주에서 코로나19 유병률의 단기 확률적 예측을 기계적 모델(EpiEstim, EpiNow2)과 통계적 시계열 모델(SARIMA, Prophet, 가우시안 프로세스)을 비교한다. 결과적으로 통계적 모델은 기계적 모델과 동등하거나 그 이상의 예측 정확도를 보이며 변동성을 더 잘 반영함을 확인하여, 영역 특화의 전염병 역학을 고려한 모델이 단기 예측 성능에 크게 기여하지 않는다는 것을 시사한다.

ABSTRACT

Short-term forecasts of infectious disease spread are a critical component in risk evaluation and public health decision making. While different models for short-term forecasting have been developed, open questions about their relative performance remain. Here, we compare short-term probabilistic forecasts of popular mechanistic models based on the renewal equation with forecasts of statistical time series models. Our empirical comparison is based on data of the daily incidence of COVID-19 across six large US states over the first pandemic year. We find that, on average, probabilistic forecasts from statistical time series models are overall at least as accurate as forecasts from mechanistic models. Moreover, statistical time series models better capture volatility. Our findings suggest that domain knowledge, which is integrated into mechanistic models by making assumptions about disease dynamics, does not improve short-term forecasts of disease incidence. We note, however, that forecasting is often only one of many objectives and thus mechanistic models remain important, for example, to model the impact of vaccines or the emergence of new variants.

연구 동기 및 목표

• 기계적 모델과 통계적 시계열 모델을 사용한 단기 확률적 예측의 성능을 평가하고 비교하기 위해.
• 기계적 모델에서 전염병 역학에 대한 전문 지식을 통합할 경우 순수 통계적 접근에 비해 예측 정확도가 향상되는지 평가하기 위해.
• 기계적 가정이 필요 없는 통계적 시계열 모델이 비교적 또는 더 높은 예측 성능을 달성할 수 있는지 확인하기 위해.
• 실제 데이터 조건 하에서 단기 유행 예측에서 모델 불확실성과 변동성의 역할을 검토하기 위해.
• 근접한 유행 추세를 위한 가장 신뢰할 수 있는 예측 도구를 특정하여 공중보건 정책 결정을 지원하기 위해.

제안 방법

• 2020년 3월부터 2021년 3월까지 미국의 큰 6개 주(애리조나, 캘리포니아, 일리노이, 메릴랜드, 뉴저지, 뉴욕)에서 일일 유병률 데이터(10만 명당 신규 사례 수)를 사용하였다.
• 롤링 예측 원천 접근법을 적용: 매일 이전 2개월치 데이터를 사용해 모델을 재추정하고 다음 14일을 예측하였다.
• 확률적 예측에 대한 적절한 점수 기준인 연속 랭크 확률 점수(CRPS)를 사용해 예측을 평가하였다.
• 다섯 가지 모델을 비교: 재생 방정식 기반의 두 기계적 모델(EpiEstim, EpiNow2)과 시계열 패턴을 사용하는 세 통계적 모델(SARIMA, Prophet, 가우시안 프로세스).
• 이상치에 대한 민감도를 줄이고 주 간 비교를 가능하게 하기 위해 유병률을 로그 변환하였다.
• 과거 데이터를 활용한 평가를 수행하여 모델 예측을 관측된 유병률과 비교하였으며, 주로 확률적 校정성과 날카기성에 초점을 맞추었다.

Fig 1 : Probabilistic forecasts for Arizona by model. Probabilistic forecast (posterior mean as red line, 95%-PI as shaded area) for Arizona by each model. (a) 1-week ahead forecast. (b) 2-week ahead forecast. Observed incidence is shown with black lines. Probabilistic forecasts for all US states by

실험 결과

연구 질문

• RQ1 기계적 모델이 전염병 역학을 고려할 경우 통계적 시계열 모델보다 단기 확률적 예측에서 더 우수한 성능을 보일까?
• RQ2 실제 유행 조건 하에서 통계적 시계열 모델의 예측 정확도와 변동성 반영 능력은 기계적 모델과 비교해 어떻게 다를까?
• RQ3 역사적 유병률 데이터가 가용한 상황에서 영역 특화의 전염병 역학 지식이 단기 예측 성능에 얼마나 기여할까?
• RQ4 기계적 모델에는 정점 과대평가와 같은 체계적 편향이 존재하는가? 이러한 편향은 통계적 모델에도 동일하게 나타나는가?
• RQ5 기계적 모델이 순차 간격 또는 세대 시간에 대한 가정이 필요 없이 통계적 모델이 동등하거나 더 높은 성능을 달성할 수 있는가?

주요 결과

• 평균적으로 통계적 시계열 모델(SARIMA, Prophet, 가우시안 프로세스)은 미국의 모든 6개 주에서 기계적 모델(EpiEstim, EpiNow2)과 동등하거나 더 높은 확률적 예측 성능을 달성하였다.
• 통계적 모델은 특히 급격한 변화가 일어나는 기간 동안 유병률의 변동성을 더 잘 반영하여 불확실성의 표현이 향상됨을 시사한다.
• 기계적 모델은 종종 유병률 정점의 과대평가를 보였으며, 이는 통계적 모델에서도 관찰된 편향으로, 정점 과대평가의 원인이 도메인 지식이 아닌 데이터 제약 조건이나 모델 구조에 기인할 수 있음을 시사한다.
• 기계적 모델에서 영역 특화 지식을 통합하더라도 단기 예측 정확도에 유의미한 향상이 없었다.
• 연속 랭크 확률 점수(CRPS)는 순차 간격 추정의 불확실성을 고려하더라도 기계적 모델에 유의미한 이점이 없음을 보여주었다.
• 결과적으로 단기 예측의 경우 역사적 시계열 패턴만으로도 충분할 수 있으며, 많은 운영 환경에서 복잡한 기계적 가정을 줄일 수 있음을 시사한다.

Fig 2 : Evaluation of secondary performance measures overall. (a) Probabilistic calibration assessed with the density distribution of the probability integral transform. (b-c) Coverage of the 50 % (left panel) and 95 % (right panel) predictive interval [PI]. (d) Sharpness assessed with dispersion me