[論文レビュー] Aggregating distribution forecasts from deep ensembles

Benedikt Schulz, Köhler, Lutz+1 more|arXiv (Cornell University)|Apr 5, 2022

Wind and Air Flow Studies被引用数 6

ひとこと要約

本稿では、確率的予測におけるディープアンサンブルのための分位数ベースの集約フレームワークを提案しており、分位数集約（ビンセント化）が密度予測の線形プールリングよりも顕著に優れていることを示している。理論的分析、シミュレーション、および風速突風予測の事例研究を通じて、著者らは、分位数を用いた予測分布の集約が、アンサンブルサイズが中程度（10〜20メンバー）であり、個々の予測が適切に最適化されている場合に特に予測性能が向上することを示している。

ABSTRACT

The importance of accurately quantifying forecast uncertainty has motivated much recent research on probabilistic forecasting. In particular, a variety of deep learning approaches has been proposed, with forecast distributions obtained as output of neural networks. These neural network-based methods are often used in the form of an ensemble, e.g., based on multiple model runs from different random initializations or more sophisticated ensembling strategies such as dropout, resulting in a collection of forecast distributions that need to be aggregated into a final probabilistic prediction. With the aim of consolidating findings from the machine learning literature on ensemble methods and the statistical literature on forecast combination, we address the question of how to aggregate distribution forecasts based on such `deep ensembles'. Using theoretical arguments and a comprehensive analysis on twelve benchmark data sets, we systematically compare probability- and quantile-based aggregation methods for three neural network-based approaches with different forecast distribution types as output. Our results show that combining forecast distributions from deep ensembles can substantially improve the predictive performance. We propose a general quantile aggregation framework for deep ensembles that allows for corrections of systematic deficiencies and performs well in a variety of settings, often superior compared to a linear combination of the forecast densities. Finally, we investigate the effects of the ensemble size and derive recommendations of aggregating distribution forecasts from deep ensembles in practice.

研究の動機と目的

• 確率的予測のための予測結合およびアンサンブル手法に関する統計学的および機械学習分野の文献を統合すること。
• 異なるニューラルネットワークベースの予測分布タイプを有するディープアンサンブルにおける、確率的および分位数ベースの集約手法を体系的に比較すること。
• アンサンブルサイズが予測性能に与える影響を評価し、予測分布の集約に関する実用的レコメンデーションを導出すること。
• ディープアンサンブル設定において、分位数集約（ビンセント化）が密度の線形プールリングを上回る優れた性能を示すかどうかを調査すること。

提案手法

• 著者らは二段階のワークフローを用いる：まず、ニューラルネットワークの複数回のランダム初期化により確率的予測アンサンブルを生成し、次にそれらを単一の予測分布に集約する。
• 主な2つの集約戦略を比較する：予測密度の線形プールリング（LP）と、アンサンブルメンバー間の分位数関数を線形に組み合わせるビンセント化（VI）。
• フレームワークは、パラメトリック（例：正規分布）、セミパラメトリック（分位数関数の近似）、およびノンパラメトリック（ヒストグラムベース）といった、異なるタイプの予測分布を出力する3つの異なるニューラルネットワークアーキテクチャに適用される。
• 理論的分析を用いて、特にアンサンブルメンバーが同一のモデルとデータに基づく場合に、ビンセント化の形状保存性を正当化する。
• 集約手法の性能を評価・比較するために、シミュレーション実験および確率的風速突風予測の実世界事例研究が実施された。
• 性能は適切なスコアルール（例：CRPS）を用いて評価され、アンサンブルサイズが予測精度に与える影響が体系的に評価された。

実験結果

リサーチクエスチョン

• RQ1 線形プールリングの密度と分位数ベースのビンセント化という異なる集約手法は、ディープアンサンブル予測の予測性能にどのように影響を与えるか？
• RQ2 性能の向上と計算コストの両立を考慮した場合、確率的予測におけるディープアンサンブルの最適なアンサンブルサイズは何か？
• RQ3 ニューラルネットワークアーキテクチャの選択（パラメトリック、セミパラメトリック、ノンパラメトリック）は、集約手法の有効性に影響を及えるか？
• RQ4 どのような条件下で分位数集約（VI）が線形プールリング（LP）を上回る性能を示すのか（予測のキャリブレーションおよびシャープネスの観点から）？
• RQ5 予測結合は、個々のアンサンブルメンバーに内在する系統的誤差を完全に是正できるのか、それともそれらのベースモデルの品質に制限を受けるのか？

主な発見

• 分位数ベースの集約（ビンセント化：VI）は、CRPSおよびキャリブレーションの観点から、予測性能において予測密度の線形プールリングを一貫して上回っている。
• 予測分布の集約は、予測精度の顕著な向上をもたらし、特に個々のアンサンブルメンバーが適切に最適化されている場合に最大の向上が観察された。
• 少なくとも10人のメンバーを有するアンサンブルサイズが推奨される。20人を超えると性能向上が僅かになるため、10〜20が計算コストと性能のバランスが取れた最適な範囲である。
• アンサンブルメンバーが同一のモデルとデータに基づく場合に、VIがLPを上回る優位性が最も顕著であり、形状保存性が望ましい特性であるとされる。
• 予測結合は、個々の予測の系統的誤差を完全に是正できないため、集約の前段階でベースモデルの最適化が極めて重要であることが強調された。
• ドロップアウトベースのアンサンブルは、ランダム初期化からのディープアンサンブルよりも劣った性能を示したため、アンサンブル生成手法の選択が最終的な予測品質に顕著な影響を与えることが示された。