[論文レビュー] A Practical Probabilistic Benchmark for AI Weather Models

Noah Brenowitz, Yair Cohen+7 more|arXiv (Cornell University)|Jan 27, 2024

Meteorological Phenomena and Simulations被引用数 5

ひとこと要約

論文は lagged ensemble forecasts (LEF) をパラメーターフリーの確率的ベンチマークとして導入し、AI天気モデルを運用ベースラインと公正に比較できるようにする。GraphCast と Pangu は確率的スキルで結論は同点である一方、長 Lead time の訓練がアンサンブルの較正を損なう可能性があることを示す。

ABSTRACT

Since the weather is chaotic, forecasts aim to predict the distribution of future states rather than make a single prediction. Recently, multiple data driven weather models have emerged claiming breakthroughs in skill. However, these have mostly been benchmarked using deterministic skill scores, and little is known about their probabilistic skill. Unfortunately, it is hard to fairly compare AI weather models in a probabilistic sense, since variations in choice of ensemble initialization, definition of state, and noise injection methodology become confounding. Moreover, even obtaining ensemble forecast baselines is a substantial engineering challenge given the data volumes involved. We sidestep both problems by applying a decades-old idea -- lagged ensembles -- whereby an ensemble can be constructed from a moderately-sized library of deterministic forecasts. This allows the first parameter-free intercomparison of leading AI weather models' probabilistic skill against an operational baseline. The results reveal that two leading AI weather models, i.e. GraphCast and Pangu, are tied on the probabilistic CRPS metric even though the former outperforms the latter in deterministic scoring. We also reveal how multiple time-step loss functions, which many data-driven weather models have employed, are counter-productive: they improve deterministic metrics at the cost of increased dissipation, deteriorating probabilistic skill. This is confirmed through ablations applied to a spherical Fourier Neural Operator (SFNO) approach to AI weather forecasting. Separate SFNO ablations modulating effective resolution reveal it has a useful effect on ensemble dispersion relevant to achieving good ensemble calibration. We hope these and forthcoming insights from lagged ensembles can help guide the development of AI weather forecasts and have thus shared the diagnostic code.

研究の動機と目的

• Deterministic metrics を超えた AI 天気モデルの確率評価の必要性を動機づける。
• lagged ensemble forecasts (LEF) をパラメーターフリーで拡張性のある相互比較フレームワークとして提案する。
• データ量と調整要件を最小限に抑えつつ、AI と従来の NWP モデル間の公正な比較を可能にする。
• 長リードタイム訓練と有効解像度が確率スキルとアンサンブル分散に与える影響を評価する。

提案手法

• 決定論的な hindcast から2日間の中心化リッグエ.（M=4, h=12h, 9 メンバー）を構築する。
• CRPS、en​semble RMSE (eRMSE)、決定論的 RMSE (dRMSE)、Spread vs. eRMSE の較正を用いて確率的スキルを評価する。
• LEF を用いて AI モデル（GraphCast、Pangu）を IFS HRES ベースラインと比較する。
• SFNO の長リードタイム自己回帰訓練が分散とスキルに与える影響を調べるアブレーションを実施する。
• データ駆動モデルの有効解像度（スケールファクター）がアンサンブル分散に与える影響を調査する。
• 診断コードと再現可能なスコアリングワークフロー（github.com/NVIDIA/earth2mip）を提供する。

Figure 1: Overview of lagged ensemble forecasting. Each ensemble member (color) is initialized at a different initial time (dots). The true time series (-) and the lagged ensemble average (- -) are also shown.

実験結果

リサーチクエスチョン

• RQ1 LEF が運用ベースラインと比較した際に有意義な確率ベンチマークとなり得るか？
• RQ2 LEF を用いて評価した場合、先行データ駆動モデル（GraphCast、Pangu）は IFS と確率的にどの程度比較可能か？
• RQ3 多段階・長リードタイムの微調整が確率スキルとアンサンブル分散に与える影響は？
• RQ4 データ駆動モデルの有効解像度を変更すると、アンサンブル分散と較正にどのような影響が出るか？

主な発見

• LEF は運用エンサンブル CRPS と相関する意味のある確率的代替指標を提供し、公正な相互比較を可能にする。
• GraphCast と Pangu は LEF 下で確率的 CRPS にほぼ互角であり、決定論的には GraphCast が上回る可能性があるにもかかわらず。
• 長リードタイムの自己回帰的微調整はアンサンブルの広がりを低減し、決定論的 RMSE は改善するが、確率的スキルと較正を損なう。
• SFNO の有効解像度を下げると複数の場でアンサンブル分散（spread）が増加し、確率的スキルの向上は modest or 不明瞭。
• LEF を均等ウェイトで用いると分散/スキルのダイナミクスを明らかにし、特定の長リードタイム損失からの消散様効果を強調する。
• Lagged-ensemble scoring は実践的でスケーラブルなベンチマークであり、AI 天気予報の開発と評価を導く。

Figure 2: Comparison between the global mean CRPS of $\mathrm{5}\mathrm{0}\mathrm{0}$ hpa height forecasts from a lagged ensemble and the IFS operational ensemble at a lead time of 5 days. Each dot shows a different initial time. The units of each axes are \unit m^2/s^2