[论文解读] A comparison of short-term probabilistic forecasts for the incidence of COVID-19 using mechanistic and statistical time series models

Nicolas Banholzer, Thomas A. Mellan+4 more|arXiv (Cornell University)|May 1, 2023

COVID-19 epidemiological studies被引用 4

一句话总结

本研究比较了在美国六个州使用机制模型（EpiEstim、EpiNow2）和统计时间序列模型（SARIMA、Prophet、高斯过程）对COVID-19发病率进行短期概率预测的表现。研究发现，统计模型在预测准确度方面至少与机制模型相当，且更能捕捉波动性，表明特定于疾病的动力学知识并未显著提升短期预测性能。

ABSTRACT

Short-term forecasts of infectious disease spread are a critical component in risk evaluation and public health decision making. While different models for short-term forecasting have been developed, open questions about their relative performance remain. Here, we compare short-term probabilistic forecasts of popular mechanistic models based on the renewal equation with forecasts of statistical time series models. Our empirical comparison is based on data of the daily incidence of COVID-19 across six large US states over the first pandemic year. We find that, on average, probabilistic forecasts from statistical time series models are overall at least as accurate as forecasts from mechanistic models. Moreover, statistical time series models better capture volatility. Our findings suggest that domain knowledge, which is integrated into mechanistic models by making assumptions about disease dynamics, does not improve short-term forecasts of disease incidence. We note, however, that forecasting is often only one of many objectives and thus mechanistic models remain important, for example, to model the impact of vaccines or the emergence of new variants.

研究动机与目标

• 评估并比较使用机制模型和统计时间序列模型进行短期概率预测在COVID-19发病率方面的表现。
• 评估在机制模型中引入流行病学领域知识是否相比纯统计方法能提升预测准确度。
• 确定不依赖疾病动力学假设的统计时间序列模型是否能达到相当或更优的预测性能。
• 在真实世界数据条件下，探讨模型不确定性与波动性在短期流行病预测中的作用。
• 通过识别最可靠的短期流行病趋势预测工具，为公共卫生决策提供支持。

提出的方法

• 使用2020年3月至2021年3月期间美国六个大州（亚利桑那州、加利福尼亚州、伊利诺伊州、马里兰州、新泽西州、纽约州）的日发病率数据（每10万人新增病例数）。
• 采用滚动预测起点方法：每日使用过去两个月的数据重新估计模型，以预测未来14天。
• 使用连续概率评分（CRPS）评估预测结果，该评分是概率预测的合理评分规则。
• 比较五种模型：基于重置方程的两种机制模型（EpiEstim、EpiNow2）和三种统计模型（SARIMA、Prophet、高斯过程），后者基于时间序列模式。
• 对发病率数据进行对数变换，以计算乘法误差，降低对异常值的敏感性，并支持跨州比较。
• 通过将模型预测与实际发病率进行对比，开展回顾性评估，重点关注概率校准性和精确性。

Fig 1 : Probabilistic forecasts for Arizona by model. Probabilistic forecast (posterior mean as red line, 95%-PI as shaded area) for Arizona by each model. (a) 1-week ahead forecast. (b) 2-week ahead forecast. Observed incidence is shown with black lines. Probabilistic forecasts for all US states by

实验结果

研究问题

• RQ1 在短期概率预测中，是否机制模型（包含疾病动力学）的表现优于统计时间序列模型？
• RQ2 在真实世界流行病条件下，统计时间序列模型在预测准确度和波动性捕捉方面与机制模型相比如何？
• RQ3 在已有历史发病率数据的前提下，特定于领域的流行病学知识在短期内在多大程度上能提升预测性能？
• RQ4 机制模型是否存在系统性偏差（如对流行高峰的过度估计），这些偏差是否同样存在于统计模型中？
• RQ5 统计模型是否能在不假设序列间隔或世代时间的前提下，实现与机制模型相当或更优的性能？

主要发现

• 平均而言，统计时间序列模型（SARIMA、Prophet、高斯过程）在所有六个美国州的预测性能至少与机制模型（EpiEstim、EpiNow2）相当。
• 统计模型更能捕捉疾病发病率的波动性，尤其是在快速变化期间，表明其对不确定性的表征更优。
• 机制模型常高估流行高峰，这种偏差在统计模型中也存在，表明高峰高估可能源于数据限制或模型结构，而非领域知识。
• 在机制模型中使用特定领域的知识，并未带来相比纯统计模型的可测量预测准确度提升。
• 连续概率评分（CRPS）显示，即使在考虑序列间隔估计不确定性的情况下，机制模型也未表现出显著优势。
• 结果表明，对于短期预测，仅依靠历史时间序列模式可能已足够，从而在许多实际应用场景中减少了对复杂机制假设的需求。

Fig 2 : Evaluation of secondary performance measures overall. (a) Probabilistic calibration assessed with the density distribution of the probability integral transform. (b-c) Coverage of the 50 % (left panel) and 95 % (right panel) predictive interval [PI]. (d) Sharpness assessed with dispersion me