[论文解读] A Comparison of Aggregation Methods for Probabilistic Forecasts of COVID-19 Mortality in the United States

Kathryn Taylor, James W. Taylor|arXiv (Cornell University)|Jul 21, 2020

COVID-19 epidemiological studies参考文献 13被引用 5

一句话总结

本文评估了美国全国及各州层面的COVID-19死亡率概率预测的聚合方法，比较了简单平均、中位数和裁剪技术等方法，以整合多个团队的预测结果。研究发现，在缺乏历史准确度数据的情况下，中位数和特定裁剪方法在低死亡率和中等死亡率系列中优于简单平均，能提供更准确的概率预测。

ABSTRACT

The COVID-19 pandemic has placed forecasting models at the forefront of health policy making. Predictions of mortality and hospitalization help governments meet planning and resource allocation challenges. In this paper, we consider the weekly forecasting of the cumulative mortality due to COVID-19 at the national and state level in the U.S. Optimal decision-making requires a forecast of a probability distribution, rather than just a single point forecast. Interval forecasts are also important, as they can support decision making and provide situational awareness. We consider the case where probabilistic forecasts have been provided by multiple forecasting teams, and we aggregate the forecasts to extract the wisdom of the crowd. With only limited information available regarding the historical accuracy of the forecasting teams, we consider aggregation (i.e. combining) methods that do not rely on a record of past accuracy. In this empirical paper, we evaluate the accuracy of aggregation methods that have been previously proposed for interval forecasts and predictions of probability distributions. These include the use of the simple average, the median, and trimming methods, which enable robust estimation and allow the aggregate forecast to reduce the impact of a tendency for the forecasting teams to be under- or overconfident. We use data that has been made publicly available from the COVID-19 Forecast Hub. While the simple average performed well for the high mortality series, we obtained greater accuracy using the median and certain trimming methods for the low and medium mortality series. It will be interesting to see if this remains the case as the pandemic evolves.

研究动机与目标

• 评估用于整合美国全国及各州层面COVID-19死亡率概率预测的聚合技术。
• 识别无需依赖预测团队历史准确度记录的稳健聚合方法。
• 在疫情期间提升预测的可靠性与态势感知能力，以支持公共卫生决策。
• 评估在不确定性条件下区间预测和概率分布聚合的性能。
• 在团队特定校准数据有限的情况下，提供最优预测组合策略的指导。

提出的方法

• 使用来自COVID-19预测中心的公开数据，收集全国及各州层面每周的累积死亡率概率预测。
• 应用包括简单平均、中位数和裁剪技术在内的聚合方法，整合多个团队的预测结果。
• 采用裁剪方法以减少过度自信或不自信预测的影响，提升方法的稳健性。
• 利用正确评分规则和区间覆盖度量指标，基于历史预测与实际结果的对比评估预测准确性。
• 聚焦于概率预测而非点估计，强调预测分布的质量。
• 在不同死亡率严重程度水平（低、中、高）下进行实证评估，以检验方法对严重程度的敏感性。

实验结果

研究问题

• RQ1 在简单平均、中位数和裁剪方法中，哪种聚合方法能产生最准确的美国COVID-19死亡率概率预测？
• RQ2 对于每种聚合方法，预测准确性如何随死亡率严重程度水平（低、中、高）而变化？
• RQ3 当缺乏预测团队历史表现数据时，像裁剪这样的稳健聚合技术是否能提升预测可靠性？
• RQ4 在不确定性条件下，中位数预测是否优于简单平均以更准确捕捉真实死亡率结果？
• RQ5 与单个团队预测相比，聚合模型的区间预测在覆盖度和精确度方面表现如何？

主要发现

• 简单平均在高死亡率系列中表现良好，显示出在极端情况下的强性能。
• 中位数预测在低死亡率和中等死亡率系列中优于简单平均，表明在较轻度情况下更具稳健性。
• 特定裁剪方法在低死亡率和中等死亡率背景下进一步提升了准确性，优于简单平均和中位数。
• 通过降低团队预测中过度自信或不自信影响的聚合方法，增强了整体可靠性。
• 结果表明，在缺乏历史准确度数据时，中位数和基于裁剪的聚合方法更为可取。
• 研究结果强调了根据死亡率严重程度水平选择方法的重要性，且不存在 universally 最优的单一方法。