[논문 리뷰] A Comparison of Aggregation Methods for Probabilistic Forecasts of COVID-19 Mortality in the United States

Kathryn Taylor, James W. Taylor|arXiv (Cornell University)|2020. 07. 21.

COVID-19 epidemiological studies참고 문헌 13인용 수 5

한 줄 요약

이 논문은 미국의 코로나19 사망률에 대한 확률적 예측을 국가 및 주 수준에서 평균, 중앙값, 잘라내기 기법을 활용한 집계 방법을 평가하며, 여러 팀의 예측을 조합하는 방법을 비교한다. 역사적 정확도 데이터가 없을 경우, 중앙값과 특정 잘라내기 기법이 간단한 평균보다 저·중등 사망률 시리즈에서 더 정확한 확률적 예측을 제공함을 발견한다.

ABSTRACT

The COVID-19 pandemic has placed forecasting models at the forefront of health policy making. Predictions of mortality and hospitalization help governments meet planning and resource allocation challenges. In this paper, we consider the weekly forecasting of the cumulative mortality due to COVID-19 at the national and state level in the U.S. Optimal decision-making requires a forecast of a probability distribution, rather than just a single point forecast. Interval forecasts are also important, as they can support decision making and provide situational awareness. We consider the case where probabilistic forecasts have been provided by multiple forecasting teams, and we aggregate the forecasts to extract the wisdom of the crowd. With only limited information available regarding the historical accuracy of the forecasting teams, we consider aggregation (i.e. combining) methods that do not rely on a record of past accuracy. In this empirical paper, we evaluate the accuracy of aggregation methods that have been previously proposed for interval forecasts and predictions of probability distributions. These include the use of the simple average, the median, and trimming methods, which enable robust estimation and allow the aggregate forecast to reduce the impact of a tendency for the forecasting teams to be under- or overconfident. We use data that has been made publicly available from the COVID-19 Forecast Hub. While the simple average performed well for the high mortality series, we obtained greater accuracy using the median and certain trimming methods for the low and medium mortality series. It will be interesting to see if this remains the case as the pandemic evolves.

연구 동기 및 목표

• 국가 및 주 수준에서 미국의 코로나19 사망률에 대한 확률적 예측을 조합하는 집계 기법을 평가하는 것.
• 예측 팀의 역학적 정확도 기록이 없는 경우에도 강건한 집계 방법을 특정하는 것.
• 대유행 기간 동안 공중보건 의사결정의 신뢰성과 상황 인식을 향상시키는 것.
• 불확실성 하에서 간격 예측과 확률 분포 집계의 성능을 평가하는 것.
• 팀별 캘리브레이션 데이터가 제한된 상황에서 최적의 예측 조합 전략에 대한 지침을 제공하는 것.

제안 방법

• COVID-19 예측 허브에서 공개된 데이터를 활용해 매주 국가 및 주 수준의 누적 사망률에 대한 확률적 예측을 수집한다.
• 간단한 평균, 중앙값, 잘라내기 기법을 포함한 집계 방법을 활용해 여러 팀의 예측을 조합한다.
• 과신 또는 과소신 예측의 영향을 줄이기 위해 잘라내기 기법을 적용하여 강건성을 향상시킨다.
• 역사적 예측-실제 결과 비교를 바탕으로 적절한 스코링 규칙과 간격 커버리지 지표를 활용해 예측 정확도를 평가한다.
• 점 추정치보다는 확률적 예측에 중점을 두며, 예측 분포의 품질을 강조한다.
• 다양한 사망률 심각도 수준(저, 중, 고)에서의 경험적 평가를 수행하여 방법의 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 간단한 평균, 중앙값, 잘라내기 중 어느 집계 방법이 미국의 코로나19 사망률에 대한 가장 정확한 확률적 예측을 도출하는가?
• RQ2 각 집계 방법에서 예측 정확도는 사망률 심각도 수준(저, 중, 고)에 따라 어떻게 달라지는가?
• RQ3 예측 팀의 역학적 성능 데이터가 없는 상황에서 잘라내기와 같은 강건한 집계 기법이 예측 신뢰도를 향상시킬 수 있는가?
• RQ4 불확실성 하에서 중앙값 예측이 단순 평균보다 진정된 사망률 결과를 더 잘 포착하는가?
• RQ5 개인 팀의 예측에 비해 집계된 모델의 간격 예측은 커버리지와 날카롭기 측면에서 어떻게 비교되는가?

주요 결과

• 간단한 평균은 고사망률 시리즈에서 잘 수행되어 극단적 상황에서도 뛰어난 성능을 보였다.
• 저·중등 사망률 시리즈에서는 중앙값 예측이 단순 평균을 능가하여 덜 심각한 조건에서 더 뛰어난 강건성을 보였다.
• 특정 잘라내기 기법은 저·중등 사망률 맥락에서 단순 평균과 중앙값보다 정확도를 더욱 향상시켰다.
• 팀 예측의 과신 또는 과소신 영향을 줄이는 집계 방법이 총체적 신뢰도를 향상시켰다.
• 결과적으로 역사적 정확도 데이터가 없는 상황에서는 중앙값과 잘라내기 기반 집계가 더 바람직하다는 점을 시사한다.
• 결과는 사망률 심각도 수준에 따라 방법 선택이 중요하며, 어떤 한 방법도 항상 최적은 아님을 강조한다.