[論文レビュー] Uncertainty quantification for epidemiological forecasts of COVID-19 through combinations of model predictions

Bowman Ve, Silk Ds+2 more|arXiv (Cornell University)|Jun 18, 2020

COVID-19 epidemiological studies参考文献 21被引用数 6

ひとこと要約

本論文は、異なる疫学的モデルからの予測密度を組み合わせることで、COVID-19の短期予測（1日あたりの死亡者数、入院者数、ICU病床使用率など）を向上させるマルチモデルアンサンブル手法を提案する。予測スコアリングを用いて各モデルに最適な重みを割り当てることで、構造的不確実性を低減し、予測の正確性と信頼性を向上させる。

ABSTRACT

A common statistical problem is prediction, or forecasting, in the presence of an ensemble of multiple candidate models. For example, multiple candidate models may be available to predict case numbers in a disease epidemic, resulting from different modelling approaches (e.g. mechanistic or empirical) or differing assumptions about spatial or age mixing. Alternative models capture genuine uncertainty in scientific understanding of disease dynamics, and/or different simplifying assumptions underpinning each model derivation. While the analysis of multi-model ensembles can be computationally challenging, accounting for this 'structural uncertainty' can improve forecast accuracy and reduce the risk of over-estimated confidence. In this paper we look at combining epidemiological forecasts for COVID-19 daily deaths, hospital admissions, and hospital and ICU occupancy, in order to improve the predictive accuracy of the short term forecasts. We combining models via combinations of individual predictive densities with weights chosen via application of predictive scoring, as commonly applied in meteorological and economic forecasting.

研究の動機と目的

• 異なるモデリング仮定や手法に起因する疫学的予測における構造的不確実性の課題に対処すること。
• COVID-19パンデミック期における1日あたりの死亡者数や入院率といった重要な公衆衛生指標の短期予測の正確性を向上させること。
• 複数の候補モデルにおける不確実性を定量化することで、予測の過信を軽減すること。
• 予測性能に基づくデータ駆動型の重み付けを用いて、モデルの予測を統合する堅牢なフレームワークの構築こと。

提案手法

• 複数の疫学的モデルからの個々の予測密度を、重み付きの予測分布として統合する。
• 予測スコアリング（例：適切なスコアリングルール）を用い、歴史的予測性能に基づいて各モデルの最適な重みを決定する。
• 本手法をパンデミック期における1日あたりの死亡者数、入院者数、病床・ICU病床使用率の予測に適用する。
• 感染伝播ダイナミクス、年齢混合、空間的拡散に関する異なる仮定に起因するモデルの多様性を考慮する。
• 各モデルの予測スキルに応じた重み付けにより、統合予測が統計的および構造的不確実性を反映するようにする。
• 気象学および経済学分野で確立された統計的手法を活用し、アンサンブル予測の信頼性とキャリブレーションを向上させる。

実験結果

リサーチクエスチョン

• RQ1 マルチモデルアンサンブルは、主要なCOVID-19アウトカムの短期予測の正確性をどのように向上させ得るか？
• RQ2 異なるモデリング仮定に起因する構造的不確実性は、予測の信頼性にどのような影響を及えるか？
• RQ3 予測スコアリング手法は、アンサンブル予測における個々のモデルの重み付けをどのように改善するか？
• RQ4 単一モデル予測と比較して、モデルを組み合わせることで予測区間の過信はどの程度軽減されるか？
• RQ5 予測密度の重み付き結合は、個々のモデルよりも信頼性が高く正確な予測を生み出すことができるか？

主な発見

• 重み付きアンサンブル手法は、個々のモデルと比較して、1日あたりの死亡者数、入院者数、ICU使用率の両方の予測正確性を顕著に向上させた。
• 重み付き結合によるモデル多様性の統合により、予測区間の過信が軽減され、信頼性が向上した。
• 予測スコアリングは、優れた性能を示すモデルを効果的に同定し、全体のアンサンブル性能を向上させた。
• 本手法は、異なるモデリング仮定に起因する構造的不確実性を効果的に定量化および低減した。
• アンサンブル予測は、すべての主要な健康指標において、キャリブレーションが向上し、予測区間が明確になった。
• 本アプローチは、パンデミック期における異なる期間およびデータ状況においても、堅牢であった。