[論文レビュー] A Comparison of Aggregation Methods for Probabilistic Forecasts of COVID-19 Mortality in the United States

Kathryn Taylor, James W. Taylor|arXiv (Cornell University)|Jul 21, 2020

COVID-19 epidemiological studies参考文献 13被引用数 5

ひとこと要約

本稿は、米国のCOVID-19死亡率の確率的予測の集約手法を、全国および州レベルで評価し、複数のチームからの予測を統合するための単純平均、中央値、トリミング手法を比較する。歴史的正確性データが入手できない状況においても、中央値および特定のトリミング手法が、低・中死亡率シリーズにおいて単純平均を上回る性能を示し、より正確な確率的予測を提供することを明らかにした。

ABSTRACT

The COVID-19 pandemic has placed forecasting models at the forefront of health policy making. Predictions of mortality and hospitalization help governments meet planning and resource allocation challenges. In this paper, we consider the weekly forecasting of the cumulative mortality due to COVID-19 at the national and state level in the U.S. Optimal decision-making requires a forecast of a probability distribution, rather than just a single point forecast. Interval forecasts are also important, as they can support decision making and provide situational awareness. We consider the case where probabilistic forecasts have been provided by multiple forecasting teams, and we aggregate the forecasts to extract the wisdom of the crowd. With only limited information available regarding the historical accuracy of the forecasting teams, we consider aggregation (i.e. combining) methods that do not rely on a record of past accuracy. In this empirical paper, we evaluate the accuracy of aggregation methods that have been previously proposed for interval forecasts and predictions of probability distributions. These include the use of the simple average, the median, and trimming methods, which enable robust estimation and allow the aggregate forecast to reduce the impact of a tendency for the forecasting teams to be under- or overconfident. We use data that has been made publicly available from the COVID-19 Forecast Hub. While the simple average performed well for the high mortality series, we obtained greater accuracy using the median and certain trimming methods for the low and medium mortality series. It will be interesting to see if this remains the case as the pandemic evolves.

研究の動機と目的

• 米国の全国および州レベルにおけるCOVID-19死亡率の確率的予測を統合する手法を評価すること。
• 予測チームの歴史的正確性記録が不要な、強固な集約手法を同定すること。
• パンデミック期の公衆衛生意思決定における予測の信頼性および状況認識の向上を目的とすること。
• 不確実性下での予測区間と確率分布の集約性能を評価すること。
• チーム固有のキャリブレーションデータが限られる状況における最適な予測統合戦略の指針を提供すること。

提案手法

• COVID-19予測ハブから入手可能な公開データを用い、全国および州レベルにおける週次確率的予測（累積死亡者数）を収集する。
• 単純平均、中央値、トリミング手法を用いて複数チームの予測を統合する集約手法を適用する。
• 過信または不確実な予測の影響を低減するためのトリミング手法を用い、耐性性を向上させる。
• 過去の予測と実際の結果の比較に基づき、適切なスコアリングルールと区間カバレッジ指標を用いて予測の正確性を評価する。
• 点推定ではなく確率的予測に焦点を当て、予測分布の質を重視する。
• 異なる死亡率深刻度（低、中、高）における性能感度を評価するため、実証的評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 単純平均、中央値、トリミングのうち、どの集約手法が米国のCOVID-19死亡率の確率的予測において最も正確か？
• RQ2 各集約手法について、死亡率深刻度（低、中、高）の違いに応じて予測の正確性はどのように変化するか？
• RQ3 予測チームの歴史的パフォーマンスデータが入手できない状況でも、トリミングのような強固な集約手法が予測の信頼性を向上させられるか？
• RQ4 不確実性下でも中央値予測が単純平均を上回り、真の死亡率結果をよりよく捉えられるか？
• RQ5 集約モデルからの予測区間は、個々のチームの予測と比較して、カバレッジと鋭さの点でどのように異なるか？

主な発見

• 単純平均は、高死亡率シリーズにおいて優れた性能を示し、極端な状況下でも強い性能を発揮した。
• 低・中死亡率シリーズにおいて、中央値予測が単純平均を上回り、やや深刻でない状況下での耐性性が優れていることが示された。
• 特定のトリミング手法は、低・中死亡率の文脈において、単純平均および中央値をさらに上回る精度を実現した。
• チームの過信または不確実性の影響を低減する集約手法は、全体の信頼性を向上させた。
• 歴史的正確性データが欠如する状況では、中央値およびトリミングベースの集約が好ましいことが示唆された。
• 結果は、死亡率深刻度に応じた手法選択の重要性を強調しており、万能な最適手法は存在しないことが明らかになった。