[論文レビュー] Weather Prediction with Diffusion Guided by Realistic Forecast Processes

Zhanxiang Hua, Yutong He+2 more|arXiv (Cornell University)|Feb 6, 2024

Hydrological Forecasting Using AI被引用数 6

ひとこと要約

この論文は、直接予測と反復予測をサポートし、 retrain なしでNWP、 persistence、 climatology ガイダンスを組み込める条件付き拡散モデルを用いた気象予測を紹介します。

ABSTRACT

Weather forecasting remains a crucial yet challenging domain, where recently developed models based on deep learning (DL) have approached the performance of traditional numerical weather prediction (NWP) models. However, these DL models, often complex and resource-intensive, face limitations in flexibility post-training and in incorporating NWP predictions, leading to reliability concerns due to potential unphysical predictions. In response, we introduce a novel method that applies diffusion models (DM) for weather forecasting. In particular, our method can achieve both direct and iterative forecasting with the same modeling framework. Our model is not only capable of generating forecasts independently but also uniquely allows for the integration of NWP predictions, even with varying lead times, during its sampling process. The flexibility and controllability of our model empowers a more trustworthy DL system for the general weather community. Additionally, incorporating persistence and climatology data further enhances our model's long-term forecasting stability. Our empirical findings demonstrate the feasibility and generalizability of this approach, suggesting a promising direction for future, more sophisticated diffusion models without the need for retraining.

研究の動機と目的

• 気象予測における深層学習モデルの信頼性と柔軟性の限界に対処するために拡散モデル（DM）の利用を動機づける。
• 単一の条件付き拡散モデル内で直接予測と反復予測を統一的に扱う枠組みを開発する。
• サンプリング時にNWP、 persistence、 climatology のガイダンスを組み込み、 retraining なしでリアリズムと信頼性を向上させる。
• リードタイムをクラスラベルとして扱い、入力として以前の観測と定数地球物理量を取り入れる。
• 低リソースで柔軟な予測能力を示し、競争力のある性能を持つことを示す。

提案手法

• 非気象定数、 prior observations、target lead time を入力として取る条件付き拡散過程をモデル化する。
• lead time K をクラスラベルとして扱い、classifier-free guidance を用いて prior と posterior の分布を学習する。
• SDEditスタイルのガイダンスを用いて拡散サンプリング中に入力予測を注入し、信頼と現実性のバランスをとる。
• 効率的な推論のために DDIM サンプリングを用い、緯度加重 MSE 損失を用いた拡散目的関数を採用する。
• 最近の履歴を与えた条件付き独立の仮定の下で、直接予測と反復予測を統一的な枠組みで組み合わせる。
• retraining なしで柔軟なガイダンスを可能にするために無条件と条件付き分布の両方を統合する。

Figure 1: Illustration of the proposed three types of guidance that are relevant to weather forecasting using diffusion models. Our model is capable of incorporating all three types of guidance to facilitate more realistic weather forecasting with diffusion models.

実験結果

リサーチクエスチョン

• RQ1 単一の条件付き拡散モデルは直接予測と反復予測の両方をサポートできるのか？
• RQ2 NWP、 persistance, climatology のガイダンスを retraining なしで拡散ベース予測に組み込むにはどうすればよいか？
• RQ3 prior observations と定常地球物理量を組み込むと長期予測の安定性と現実味は向上するのか？
• RQ4 ガイダンス強度とサンプリングステップが予測精度と信頼性に与える影響は？
• RQ5 拡散ベースのアプローチは短〜中期予測において従来のベースラインとどう比較されるか？

主な発見

• DM direct および DM iterative は Z500 と T850 フィールドの RMSE において、6–7 日まで persistence および weekly climatology ベースラインを上回る。
• DM direct は長いリードタイムで DM iterative をわずかに上回る一方、DM iterative はより早い予測でより良い場合がある。
• DM モデルは ACC スコアが weekly climatology と同程度、特定の範囲では T42 に対して競争力があり、計算コストの利点を持つ。
• NWP（T42, T63）、 persistence、および climatology によるガイダンスは、特にサンプリング中に摂動を調整した場合に予測スキルを向上させる。
• SDEditスタイルのガイダンスは、 retraining なしで trusted forecast への強い整合、またはより探査的な設定を可能にする柔軟な信頼設定を可能にする。
• このタスクに対する最適な DDIM サンプリングステップは比較的小さく（約12）、低い classifier-free ガイダンスウェイトは性能を維持するのに役立つ。

Figure 2: The overall diffusion model network architecture.