[論文レビュー] Precipitation nowcasting with generative diffusion models

Andrea Asperti, Fabio Merizzi+4 more|arXiv (Cornell University)|Aug 13, 2023

Climate variability and models被引用数 13

ひとこと要約

この論文は、ERA-5データ上でWF-UNetより性能を向上させる、DDIM拡散と後処理U-Netを用いた降水量現在予報のGenerative Diffusion Ensemble (GDE)を紹介します。2016–2020データで訓練し、15の拡散ステップで2021データを評価します。

ABSTRACT

In recent years traditional numerical methods for accurate weather prediction have been increasingly challenged by deep learning methods. Numerous historical datasets used for short and medium-range weather forecasts are typically organized into a regular spatial grid structure. This arrangement closely resembles images: each weather variable can be visualized as a map or, when considering the temporal axis, as a video. Several classes of generative models, comprising Generative Adversarial Networks, Variational Autoencoders, or the recent Denoising Diffusion Models have largely proved their applicability to the next-frame prediction problem, and is thus natural to test their performance on the weather prediction benchmarks. Diffusion models are particularly appealing in this context, due to the intrinsically probabilistic nature of weather forecasting: what we are really interested to model is the probability distribution of weather indicators, whose expected value is the most likely prediction. In our study, we focus on a specific subset of the ERA-5 dataset, which includes hourly data pertaining to Central Europe from the years 2016 to 2021. Within this context, we examine the efficacy of diffusion models in handling the task of precipitation nowcasting. Our work is conducted in comparison to the performance of well-established U-Net models, as documented in the existing literature. Our proposed approach of Generative Ensemble Diffusion (GED) utilizes a diffusion model to generate a set of possible weather scenarios which are then amalgamated into a probable prediction via the use of a post-processing network. This approach, in comparison to recent deep learning models, substantially outperformed them in terms of overall performance.

研究の動機と目的

• regular gridded weather data上で確率的降水量現在予報のために拡散ベースの生成モデルの活用を動機づける。
• 複数のもっともらしい将来の降雨場を生成し、それらを統合して正確な予測を作成するGenerative Diffusion Ensemble (GDE)を開発する。
• 短期予報を導くために拡散過程をガイドする追加の気象特徴量と条件付けを組み込む。
• ERA-5データに対する拡散ベースの予測をWF-UNetなどの確立モデルと比較し、性能の向上を実証する。

提案手法

• Denoising Diffusion Implicit Models (DDIM)をコアデノイザーとしての denoising U-net と共に利用する。
• ノイズ入力に過去の気象フレームと補助場を連結して分類子なしの場合の conditioning を用いて訓練する。
• conditioning 情報を過去の降水量、風成分、陸海マスク、地勢位勢geopotentialとして定義し、チャネル次元に沿って統合する。
• Generative Diffusion Ensemble (GED)を採用し、複数のサンプルを生成して平均化するか、後処理U-netに入力して最終的な3時間予報を作成する。
• 15の拡散出力（出力ごとに3時間予報）を受け取る後処理U-netを実装し、精練された3時間の降水予報を出力する。
• 拡散モデルのノイズに対するMAEを訓練損失として、後処理ステップにはMSEを適用し、元の値にデノーマライズ後のMSEで評価する。
• denoiserのユーネットサイズを [64, 128, 256, 384]、ノイズ分散の正弦波埋め込みを用いた実験を行う。

実験結果

リサーチクエスチョン

• RQ1 確率論的な降水量現在予報を、決定論的モデルよりも生成拡散モデルがよりよく捉えられるか。
• RQ2 複数の拡散サンプルの平均化または後処理ネットワークの使用が現在予報の精度を改善するか。
• RQ3 過去の気象フレームと補助フィールドによる conditioning が拡散ベースの現在予報の性能にどう影響するか。
• RQ4 提案されたGEDアプローチはERA-5ベースの降水量現在予報でWF-UNetと比較してどうか。
• RQ5 拡散ステップ数と訓練設定が性能と安定性に及ぼす影響は何か。

主な発見

• Generative Diffusion Ensemble (GED) アプローチは ERA-5データセットの降水量現在予報で WF-UNet を上回る。
• 複数の拡散世代の平均は、単一の拡散サンプルを用いるよりも予測精度が高い。
• 拡散出力を用いて訓練した後処理U-netは、単純な平均化よりも予測精度をさらに向上させる。
• 研究は2021データで評価された3時間先の予報に対して、15ステップのDDIM拡散過程を報告する。
• 訓練設定にはバッチサイズ2、40エポック、拡散ノイズ予測のためのAdamW最適化、拡散ノイズ予測にMAE、後処理ステップに対しては10エポックの微調整を含む。