[논문 리뷰] Uncertainty quantification for epidemiological forecasts of COVID-19 through combinations of model predictions

Bowman Ve, Silk Ds외 2명|arXiv (Cornell University)|2020. 06. 18.

COVID-19 epidemiological studies참고 문헌 21인용 수 6

한 줄 요약

이 논문은 다양한 전염병 모델의 예측 밀도를 조합하여 코로나19 결과(예: 일일 사망자 수, 입원 환자 수, 중환자실 병상 점유율 등)의 단기 예측을 향상시키기 위해 다중 모델 앙상블 접근법을 제안한다. 예측 점수를 활용해 각 모델에 최적의 가중치를 할당함으로써 구조적 불확실성을 줄이고 예측 정확도와 신뢰성을 향상시킨다.

ABSTRACT

A common statistical problem is prediction, or forecasting, in the presence of an ensemble of multiple candidate models. For example, multiple candidate models may be available to predict case numbers in a disease epidemic, resulting from different modelling approaches (e.g. mechanistic or empirical) or differing assumptions about spatial or age mixing. Alternative models capture genuine uncertainty in scientific understanding of disease dynamics, and/or different simplifying assumptions underpinning each model derivation. While the analysis of multi-model ensembles can be computationally challenging, accounting for this 'structural uncertainty' can improve forecast accuracy and reduce the risk of over-estimated confidence. In this paper we look at combining epidemiological forecasts for COVID-19 daily deaths, hospital admissions, and hospital and ICU occupancy, in order to improve the predictive accuracy of the short term forecasts. We combining models via combinations of individual predictive densities with weights chosen via application of predictive scoring, as commonly applied in meteorological and economic forecasting.

연구 동기 및 목표

• 다양한 모델링 가정과 접근 방식으로 인한 구조적 불확실성으로 인한 전염병 예측의 과제를 해결한다.
• 코로나19 패an데믹 기간 동안 일일 사망자 수 및 병원 점유율과 같은 주요 공중보건 지표의 단기 예측 정확도를 향상시킨다.
• 다양한 후보 모델 간의 불확실성을 측정함으로써 예측의 과신을 줄인다.
• 예측 성능에 기반한 데이터 기반 가중치를 활용해 모델 예측을 조합하는 견고한 프레임워크를 개발한다.

제안 방법

• 다양한 전염병 모델의 개별 예측 밀도를 하나의 가중 예측 분포로 통합한다.
• 예측 점수(예: 적절한 점수 규칙 등)를 사용해 이전 예측 성능에 기반해 각 모델의 최적 가중치를 결정한다.
• 이 방법을 패an데믹 기간 동안 일일 사망자 수, 입원 환자 수, 병원/중환자실 병상 점유율을 예측하는 데 적용한다.
• 전파 역학, 연령 혼합 및 공간적 확산에 대한 서로 다른 가정으로 인한 모델 다양성을 반영한다.
• 모델의 예측 능력에 따라 가중치를 할당함으로써 통계적 및 구조적 불확실성을 모두 반영한 앙상블 예측을 확보한다.
• 기상학 및 경제학 분야에서 확립된 통계 기법을 활용해 앙상블 예측의 신뢰성과 校정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 모델 앙상블은 주요 코로나19 결과의 단기 예측 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 다른 모델링 가정으로 인한 구조적 불확실성은 예측 신뢰성에 어떤 영향을 미치는가?
• RQ3 예측 점수 기법은 앙상블 예측에서 개별 모델의 가중치를 어떻게 향상시키는가?
• RQ4 단일 모델 예측에 비해 모델을 조합함으로써 예측 간격의 과신은 어느 정도 감소하는가?
• RQ5 예측 밀도의 가중 조합은 개별 모델보다 더 신뢰성 있고 정확한 예측을 만들어낼 수 있는가?

주요 결과

• 가중치가 할당된 앙상블 접근법은 개별 모델에 비해 일일 사망자 수, 입원 환자 수 및 중환자실 점유율의 예측 정확도를 크게 향상시켰다.
• 가중치가 할당된 조합을 통해 모델 다양성을 반영함으로써 예측 간격의 과신이 감소하여 예측의 신뢰성이 향상되었다.
• 예측 점수 기법이 높은 성능을 보인 모델을 효과적으로 식별하여 전체 앙상블 성능을 향상시켰다.
• 이 방법은 서로 다른 모델링 가정으로 인한 구조적 불확실성을 효과적으로 측정하고 감소시켰다.
• 앙상블 예측는 모든 주요 건강 지표에서 보다 우수한 校정 정확도와 더 날카로운 예측 간격을 보였다.
• 이 방법은 패an데믹 기간 동안 다양한 시기와 데이터 조건에서도 견고함을 입증했다.