[논문 리뷰] Rational evaluation of various epidemic models based on the COVID-19 data of China

Wuyue Yang, Dongyan Zhang외 3명|arXiv (Cornell University)|2020. 03. 12.

COVID-19 epidemiological studies참고 문헌 19인용 수 8

한 줄 요약

이 연구는 2020년 초 중국의 코로나19 데이터를 바탕으로 16개의 전염병 모델—7개의 경험적 함수, 4개의 통계적 추론 방법, 5개의 동역학 모델—을 평가한다. 연구 결과, 모델 성능은 비율의 전환점에 따라 크게 좌우되며, SEIR-QD와 SEIR-PO 모델이 복잡성과 정확성의 균형을 잘 유지해 다른 모델보다 뛰어난 성능을 보였다. 반면 로지스틱 함수는 일관되게 최종 전염병 규모를 과소평가하고, 고프체르츠 함수는 과대평가하는 경향을 보였다.

ABSTRACT

In this paper, based on the Akaike information criterion, root mean square error and robustness coefficient, a rational evaluation of various epidemic models/methods, including seven empirical functions, four statistical inference methods and five dynamical models, on their forecasting abilities is carried out. With respect to the outbreak data of COVID-19 epidemics in China, we find that before the inflection point, all models fail to make a reliable prediction. The Logistic function consistently underestimates the final epidemic size, while the Gompertz's function makes an overestimation in all cases. Towards statistical inference methods, the methods of sequential Bayesian and time-dependent reproduction number are more accurate at the late stage of an epidemic. And the transition-like behavior of exponential growth method from underestimation to overestimation with respect to the inflection point might be useful for constructing a more reliable forecast. Compared to ODE-based SIR, SEIR and SEIR-AHQ models, the SEIR-QD and SEIR-PO models generally show a better performance on studying the COVID-19 epidemics, whose success we believe could be attributed to a proper trade-off between model complexity and fitting accuracy. Our findings not only are crucial for the forecast of COVID-19 epidemics, but also may apply to other infectious diseases.

연구 동기 및 목표

• 중국의 초기 코로나19 유행에서 실세계 데이터를 활용해 다양한 전염병 모델의 예측 성능을 체계적으로 평가하는 것.
• 모델의 복잡성, 적합 정확도, 안정성의 균형을 고려해 가장 신뢰할 수 있는 예측을 제공하는 모델을 특정하는 것.
• 전염병의 전환점이 다양한 모델링 접근법에서 예측 신뢰성에 미치는 영향을 평가하는 것.
• 경험적 모델, 통계적 추론 모델, 동역학적 ODE 기반 모델 간의 예측 정확도 및 민감도를 비교하는 것.
• 코로나19를 초월해 전염병 예측에 적용 가능한 근거 기반의 모델 선택 지침을 제공하는 것.

제안 방법

• 예측 성능 평가 기준으로 아카이케 정보 기준(AIC), 제곱근 평균 제곱오차(RMSE), 안정성 계수를 사용하였다.
• 학습 데이터 세트의 크기를 점차 증가시켜, 특히 전염병 전환점 주변에서의 모델 성능을 평가하였다.
• 누적 감염자 수의 경로를 적합하고 예측하는 데 있어 7개의 경험적 함수(예: 로지스틱, 고프체르츠, 리치즈스)의 능력을 평가하였다.
• 4개의 통계적 추론 방법—지수 성장, 최대우도, 순차 베이지안, 시간에 따라 변하는 기본 재생수 추정—을 비교하였다.
• 5개의 ODE 기반 동역학 모델—SIR, SEIR, SEIR-AHQ, SEIR-QD, SEIR-PO—을 평가하였으며, SEIR-QD와 SEIR-PO 모델은 격리 및 보호 동역학을 통합하였다.
• 모델의 일반화 능력을 테스트하기 위해 오스트리아, 말레이시아, 노르웨이, 한국의 국제 데이터를 활용해 선택된 모델을 검증하였다.

실험 결과

연구 질문

• RQ1 중국의 코로나19 유행에서 다양한 전염병 모델이 최종 유행 규모와 경로를 예측하는 데 어떻게 성능을 발휘하는가?
• RQ2 전염병의 전환점은 모델 예측의 신뢰성에 어떤 역할을 하는가?
• RQ3 경험적 모델, 통계적 추론 모델, 동역학적 ODE 모델 중 어느 클래스가 가장 정확하고 안정적인 예측을 제공하는가?
• RQ4 왜 로지스틱 함수는 일관되게 유행 규모를 과소평가하고, 고프체르츠 함수는 과대평가하는가?
• RQ5 지수 성장 방법이 전환점 주변에서 나타내는 전이 행동을 활용해 예측 정확도를 향상시킬 수 있는가?

주요 결과

• 전염병 전환점 이전에는 모든 모델이 신뢰할 수 있는 예측을 하지 못하며, 이는 예측의 시기 결정이 매우 중요함을 시사한다.
• 로지스틱 함수는 모든 테스트 지역 및 데이터 세트에서 최종 유행 규모를 일관되게 과소평가한다.
• 고프체르츠 함수는 최종 유행 규모를 체계적으로 과대평가하며, 데이터 크기가 커져도 일관된 개선이 없다.
• SEIR-QD와 SEIR-PO 모델은 복잡성과 적합 정확도의 균형을 잘 유지해 다른 ODE 기반 모델보다 뛰어난 성능을 보였다.
• 순차 베이지안 및 시간에 따라 변하는 기본 재생수 추정 방법은 지수 성장 및 최대우도 방법보다 유행의 후반기에서 더 높은 정확도를 보였다.
• 지수 성장 방법은 전환점 주변에서 과소예측에서 과대예측으로의 전이 행동을 보이며, 이 동적 행동은 더 안정적인 예측 프레임워크 개선에 활용될 수 있음을 시사한다.