[論文レビュー] A comparison of short-term probabilistic forecasts for the incidence of COVID-19 using mechanistic and statistical time series models

Nicolas Banholzer, Thomas A. Mellan+4 more|arXiv (Cornell University)|May 1, 2023

COVID-19 epidemiological studies被引用数 4

ひとこと要約

本研究では、米国6州におけるCOVID-19発生率の短期予測を、力学的モデル（EpiEstim、EpiNow2）と統計的時系列モデル（SARIMA、Prophet、ガウス過程）を用いて比較した。統計的モデルは、予測精度において力学的モデルと同等以上であり、変動性をよりよく捉えていることが判明した。これは、疾患動態に関する分野特異的知識が、短期予測性能を顕著に向上させないことを示唆している。

ABSTRACT

Short-term forecasts of infectious disease spread are a critical component in risk evaluation and public health decision making. While different models for short-term forecasting have been developed, open questions about their relative performance remain. Here, we compare short-term probabilistic forecasts of popular mechanistic models based on the renewal equation with forecasts of statistical time series models. Our empirical comparison is based on data of the daily incidence of COVID-19 across six large US states over the first pandemic year. We find that, on average, probabilistic forecasts from statistical time series models are overall at least as accurate as forecasts from mechanistic models. Moreover, statistical time series models better capture volatility. Our findings suggest that domain knowledge, which is integrated into mechanistic models by making assumptions about disease dynamics, does not improve short-term forecasts of disease incidence. We note, however, that forecasting is often only one of many objectives and thus mechanistic models remain important, for example, to model the impact of vaccines or the emergence of new variants.

研究の動機と目的

• 力学的モデルと統計的時系列モデルを用いた、COVID-19発生率の短期的確率的予測の性能を評価・比較すること。
• 力学的モデルが疫学的分野知識を組み込むことで、純粋に統計的な手法に比べて予測精度が向上するかどうかを評価すること。
• 疾患動態に関する仮定を必要としない統計的時系列モデルが、同等またはより優れた予測性能を達成できるかどうかを特定すること。
• 現実のデータ条件下における短期的流行予測において、モデルの不確実性と変動性の役割を検討すること。
• 近い将来の流行傾向を予測するための信頼性の高いツールを特定し、公衆衛生意思決定を支援すること。

提案手法

• 2020年3月から2021年3月までの期間、米国6州（アリゾナ、カリフォルニア、イリノイ、メリーランド、ニュージャージー、ニューヨーク）の日次発生率データ（10万人あたりの新規症例数）を用いた。
• ローリング予測出発点アプローチを採用：各日、直近2か月間のデータを用いてモデルを再推定し、翌14日間を予測した。
• 確率的予測の評価に、連続ランク確率スコア（CRPS）を用い、適切なスコアリングルールとした。
• 5つのモデルを比較：2つの力学的モデル（EpiEstim、EpiNow2）は再生方程式に基づき、3つの統計的モデル（SARIMA、Prophet、ガウス過程）は時系列パターンに基づいたものとした。
• 外れ値への感受性を低減させるとともに、州間比較を可能にするために、発生率を対数変換した。
• 予測の妥当性を検証するため、モデルの予測を観察値と比較し、確率的キャリブレーションと鋭さ（sharpness）に注目したレトロスペクティブな評価を実施した。

Fig 1 : Probabilistic forecasts for Arizona by model. Probabilistic forecast (posterior mean as red line, 95%-PI as shaded area) for Arizona by each model. (a) 1-week ahead forecast. (b) 2-week ahead forecast. Observed incidence is shown with black lines. Probabilistic forecasts for all US states by

実験結果

リサーチクエスチョン

• RQ1 疾患動態を組み込んだ力学的モデルが、統計的時系列モデルに比べて、COVID-19発生率の短期的確率的予測で優れた性能を示すか？
• RQ2 現実の流行状況下において、統計的時系列モデルの予測精度と変動性の捉え方を、力学的モデルと比較するとどうなるか？
• RQ3 過去の発生率データが入手可能である状況下で、分野特異的疫学的知識が短期予測性能にどの程度向上効果をもたらすか？
• RQ4 力学的モデルに、流行ピークの過剰推定といった系統的バイアスが存在し、統計的モデルにも同様のバイアスが見られるか？
• RQ5 系列間隔や生成期間に関する仮定を必要としない統計的モデルが、力学的モデルと同等またはそれ以上の性能を達成できるか？

主な発見

• 平均して、統計的時系列モデル（SARIMA、Prophet、ガウス過程）は、米国6州すべてにおいて、力学的モデル（EpiEstim、EpiNow2）と同等以上に確率的予測性能を達成した。
• 統計的モデルは、特に急激な変化が生じる時期において、発生率の変動性をよりよく捉えており、不確実性の表現が優れていることが示された。
• 力学的モデルは頻繁にピーク発生率を過剰に推定しており、このバイアスは統計的モデルに対しても観察された。これは、ピーク過剰推定が分野知識ではなく、データ制限やモデル構造に起因する可能性を示唆している。
• 力学的モデルが分野特異的知識を組み込むことで、純粋に統計的なモデルに比べて短期予測精度が顕著に向上したとは言えなかった。
• 連続ランク確率スコア（CRPS）では、系列間隔推定の不確実性を組み込んでも、力学的モデルに顕著な優位性は認められなかった。
• 結果から、短期予測においては、過去の時系列パターンそのもので十分なことが示唆され、多くの運用状況では複雑な力学的仮定を必要としないことがわかった。

Fig 2 : Evaluation of secondary performance measures overall. (a) Probabilistic calibration assessed with the density distribution of the probability integral transform. (b-c) Coverage of the 50 % (left panel) and 95 % (right panel) predictive interval [PI]. (d) Sharpness assessed with dispersion me