[論文レビュー] Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization

Lorenzo Pacchiardi, Rilwan Adewoyin+2 more|arXiv (Cornell University)|Dec 15, 2021

Neural Networks and Applications被引用数 8

ひとこと要約

本稿では、敵対的訓練を回避するために、時系列データに対して逐次的（prequential）なスコアルールを最小化することで、確率的予測を目的とした生成的ニューラルネットワークの訓練を提案する。この手法により、ハイパーパramータのチューニングが少なく、安定的かつキャリブレーションされた予測が得られ、特に不確実性の定量化において、GANベースの手法を上回る性能を発揮する。また、弱い混合条件のもとで一貫性が保証されることが示された。

ABSTRACT

Probabilistic forecasting relies on past observations to provide a probability distribution for a future outcome, which is often evaluated against the realization using a scoring rule. Here, we perform probabilistic forecasting with generative neural networks, which parametrize distributions on high-dimensional spaces by transforming draws from a latent variable. Generative networks are typically trained in an adversarial framework. In contrast, we propose to train generative networks to minimize a predictive-sequential (or prequential) scoring rule on a recorded temporal sequence of the phenomenon of interest, which is appealing as it corresponds to the way forecasting systems are routinely evaluated. Adversarial-free minimization is possible for some scoring rules; hence, our framework avoids the cumbersome hyperparameter tuning and uncertainty underestimation due to unstable adversarial training, thus unlocking reliable use of generative networks in probabilistic forecasting. Further, we prove consistency of the minimizer of our objective with dependent data, while adversarial training assumes independence. We perform simulation studies on two chaotic dynamical models and a benchmark data set of global weather observations; for this last example, we define scoring rules for spatial data by drawing from the relevant literature. Our method outperforms state-of-the-art adversarial approaches, especially in probabilistic calibration, while requiring less hyperparameter tuning.

研究の動機と目的

• 生成的モデルにおける敵対的訓練の不安定さとハイパーパramータへの感受性を解消すること。
• 標準的なGANが独立同分布（i.i.d.）データを仮定するのに対し、時系列データの時系列的依存関係を尊重する訓練フレームワークを構築すること。
• 気象予測などの高次元時空間予測において、信頼性のある不確実性の定量化を可能にすること。
• 弱い混合条件の下で、逐次的スコアルールの最小化解の一貫性を証明することにより、漸近的正しさを保証すること。
• 空間的および時空間的データに適したスコアルールを設計し、変換を施さずに観測データそのものに直接学習可能にすること。

提案手法

• 記録済みの時系列データ上で、予測の逐次的（prequential）スコアルールを最小化することで生成的ネットワークを訓練し、予測は過去の観測に条件づけられる。
• 生成分布の期待値として定義されるスコアルールの勾配ベース最適化を可能にするために、再パrametrizationトリックを用いる。
• 気象学的指標（エネルギー、カーネル、変動関数、ハイブリッドスコアなど）を用いて、高次元空間データ向けのスコアルールを定義する。
• 早期停止を適用し、各観測ウィンドウごとに固定された数（例：10個）の生成サンプルを使用することで、精度と計算コストのバランスを取る。
• ディスクライマインを用いないため、モード崩壊が発生せず、ハイパーパramータのチューニングの必要性が大幅に低減される。
• 定 stationarity および混合条件のもとで、最小化解の漸近的一貫性を証明し、経験的逐次的スコアが真の期待スコアに収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を伴わない生成的ネットワークは、確率的予測のための有効な訓練が可能か？
• RQ2 逐次的スコアルールの最小化は、時系列予測において敵対的訓練に比べて、キャリブレーション性と安定性が向上するか？
• RQ3 空間データ向けに設計されたスコアルールは、高次元時空間観測データに対する生成モデルの訓練に効果的に適用可能か？
• RQ4 不確実性の定量化および計算効率の観点から、本手法は最先端のGANベース手法と比較してどのように差をつけるか？
• RQ5 弱い時系列的依存性の仮定のもとで、逐次的スコアルールの最小化解は真のデータ生成分布に一貫して収束するか？

主な発見

• 提案手法は、特に不確実性の捉え方において、GANベースの手法を上回った。時系列プロットにおける信頼区間が狭く、より正確に推定されていることが確認された。
• スコアルールに基づく訓練では、ハイパーパramータチューニングが大幅に軽減された。GANと比較して、学習率の試行値は6つにまで減少した。計算コストは一部のケースで1エポックあたり高くなるものの、全体の計算コストは削減された。
• エネルギー・変動関数スコアとカーネル・変動関数スコアの両方で、合計の訓練コストはそれぞれ24,346秒および24,393秒にとどまり、49個の学習率試行を想定したWGAN-GPの343,000秒を下回った。
• 1ウィンドウあたり50個の生成サンプルを使用しても、エネルギー・スコアの合計計算コストは25,865秒にとどまり、同じ学習率探索範囲でのWGAN-GPの343,000秒を下回った。
• 本手法は、モード崩壊を示さず、安定した訓練が可能であった。一方、同じ設定で学習したGANは、時系列プロットで不確実性が著しく低減されており、物理的に不自然な予測の進捗を示した。
• 定 stationarity および混合条件のもとで理論的一貫性が証明され、モデルが適切に指定されている場合、逐次的スコアの最小化解が真のパramータ値に収束することが示された。