[論文レビュー] Deep Uncertainty Quantification: A Machine Learning Approach for Weather Forecasting

Bin Wang, Jie Lü+5 more|arXiv (Cornell University)|Dec 22, 2018

Hydrological Forecasting Using AIEnvironmental Science参考文献 29被引用数 21

ひとこと要約

本論文は、深層学習フレームワークであるDeep Uncertainty Quantification (DUQ)を提案する。このフレームワークは、歴史的観測データと数値気象予報(NWP)データを統合することで、天気予測におけるポイント予測と不確実性の定量化を統合的に実行する。モデルはエンドツーエンドで学習可能であり、MSE や MAE よりも顕著に一般化性能を向上させる負の対数尤度誤差(NLE)損失関数を導入している。北京の天気データセットにおいて、NWP よりも47.76%の精度向上を達成し、最先端の性能を示しており、ベンチマークはオープンソースで提供されている。

ABSTRACT

Weather forecasting is usually solved through numerical weather prediction (NWP), which can sometimes lead to unsatisfactory performance due to inappropriate setting of the initial states. In this paper, we design a data-driven method augmented by an effective information fusion mechanism to learn from historical data that incorporates prior knowledge from NWP. We cast the weather forecasting problem as an end-to-end deep learning problem and solve it by proposing a novel negative log-likelihood error (NLE) loss function. A notable advantage of our proposed method is that it simultaneously implements single-value forecasting and uncertainty quantification, which we refer to as deep uncertainty quantification (DUQ). Efficient deep ensemble strategies are also explored to further improve performance. This new approach was evaluated on a public dataset collected from weather stations in Beijing, China. Experimental results demonstrate that the proposed NLE loss significantly improves generalization compared to mean squared error (MSE) loss and mean absolute error (MAE) loss. Compared with NWP, this approach significantly improves accuracy by 47.76%, which is a state-of-the-art result on this benchmark dataset. The preliminary version of the proposed method won 2nd place in an online competition for daily weather forecasting.

研究の動機と目的

• 初期条件への感受性や微分方程式の不安定性による数値気象予報(NWP)の限界を是正すること。
• 歴史的観測データとNWP出力を効果的に統合するデータ駆動型手法を開発し、予測精度を向上させること。
• 時系列回帰において、高精度なポイント予測と信頼性の高い不確実性定量化（予測区間）を同時に達成すること。
• 標準的な深層学習フレームワークと互換性があり、バックプロパゲーションに基づく最適化が可能な微分可能な損失関数を設計し、モデルの一般化性能を向上させること。
• 機械学習を用いた天気予測のための公開可能なベンチマークを確立すること。

提案手法

• 歴史的天気観測データとNWPモデル出力を効果的な情報統合メカニズムを通じて入力する深層ニューラルネットワークアーキテクチャを提案する。
• モデルをエンドツーエンドで学習可能にするために、新規の負の対数尤度誤差(NLE)損失関数を導入し、同時にポイント推定と不確実性の定量化を可能にする。
• NLE損失は微分可能であり、PyTorch や TensorFlow と互換性があり、ベイズ推論を必要とせず、バックプロパゲーションに基づく最適化が可能である。
• 多様な初期化とデータ分割を用いた複数のモデルを学習する効率的なディープアンサンブル戦略を採用し、モデルの頑健性と予測性能を向上させる。
• 複数の気象変数（気温、湿度、風速）と複数の天気観測所、将来の時間ステップを予測可能な、シーケンス・ツー・シーケンスフレームワークを採用する。
• 不確実性のキャリブレーションを評価するために、90%の予測区間(PI)を適用し、カバレッジはPICP（予測区間カバレッジ確率）で測定する。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、歴史的観測データとNWP出力を効果的に統合し、天気予測精度を向上させることができるか？
• RQ2 提案された負の対数尤度誤差(NLE)損失関数は、MSE や MAE と比較して、天気予測においてより優れた一般化性能を示すか？
• RQ3 1つの深層学習モデルが、同時に高精度なポイント予測と信頼性の高い予測区間を生成できるか？
• RQ4 提案されたDUQ手法は、実世界の天気データにおいて、従来のNWPや他の機械学習ベースラインと比較して、どの程度優れた性能を示すか？
• RQ5 アンサンブル戦略は、予測システムの精度と頑健性をどの程度向上させるか？

主な発見

• 提案されたNLE損失関数は、MSE や MAE よりも顕著にポイント予測における一般化性能を向上させ、これは文献にまだ報告のない現象である。
• DUQは北京の天気データセットにおいて、NWP よりも47.76%の精度向上を達成し、このベンチマークで最先端の性能を達成した。
• DUQ 300-300アンサンブルモデルは、平均RMSEが3.3669と最低を記録し、Seq2SeqにMSE や MAE 損失を適用したすべてのベースラインを顕著に上回った。
• DUQが生成する予測区間は高いカバレッジを維持しており、気温では平均PICPが0.9249、相対湿度では0.9099、風速では0.9519を記録し、良好にキャリブレートされた不確実性推定であることが示された。
• ディープアンサンブル戦略は性能を顕著に向上させ、DUQ 300-300モデルは全指標で最良の結果を達成した。また、アンサンブル収束に要するイテレーション数（2900）は、ベースラインモデルよりも少なかった。
• アブレーションスタディの結果、NWPデータまたは観測データのいずれかを除去すると、性能が著しく低下することが確認され、統合情報アーキテクチャの重要性が裏付けられた。