[論文レビュー] Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast

Kaifeng Bi, Lingxi Xie+4 more|arXiv (Cornell University)|Nov 3, 2022

Meteorological Phenomena and Simulations被引用数 123

ひとこと要約

Pangu-Weatherは3D地球専用トランスフォーマー（3DEST）と階層的時系列集約を提示し、従来のNWP手法を上回る精度の高速・高解像度の全球天気予報を提供します。

ABSTRACT

In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ imes0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

研究の動機と目的

• ERA5再分析データを用いたデータ駆動型の全球天気予報フレームワークを確立する。
• 入力と出力に高度情報（圧力レベル）を組み込む3Dモデルを開発する。
• 階層的時系列集約戦略で中期予報の精度を向上させる。
• 極端天候予測と大規模メンバー ensembleへの適用性を示す。
• AIベースの予測が高い空間解像度で従来のNWPを上回ることを示す。

提案手法

• 0.25°×0.25°解像度、13の圧力レベル、4つの地表変数、ERA5データ（訓練は1979–2017、検証は2019、テストは2018/2020/2021）を使用。
• 3D地球専用トランスフォーマー（3DEST）を導入し、3D天気状態を処理しパッチ埋め込み/回復を用いる。
• Attention機構の緯度・高度の変動を考慮するため地球特有の位置バイアスを組み込む。
• 3Dデータをモデル化し計算コストを管理するためSwin-トランスフォーマー風のシフトウィンドウアテンションを適用。
• 1h, 3h, 6h, 24hリードタイムの別個のモデルを訓練して階層的時系列集約を実施し、反復予測誤差を低減。
• 華為クラウドGPUクラスタ上で192台のNVIDIA Tesla-V100を用いて訓練・展開し、単一GPUでの推論時間は約1400 msを報告。

実験結果

リサーチクエスチョン

• RQ1 AIベースの手法は、重力位勢（geopotential）、湿度、風、温度などの複数の予報リードタイムや要因において最先端NWPを超える精度を達成できるか？
• RQ2 3D（高度）情報と地球認識バイアスを組み込むことで、2Dアプローチと比べてAIベースの天気予報は改善されるか？
• RQ3 階層的時系列集約は中期予報の累積予測誤差を減らし、極端天候とアンサンブル予報の信頼性を高められるか？
• RQ4 大規模3Dトランスフォーマーベースの天気モデルをマルチGPUクラスタで実際に動かす際の計算コストとスケーラビリティはどの程度か？

主な発見

• Pangu-Weatherは、1時間から1週間のすべての要因とリードタイムで運用のIFSとFourCastNetより高い精度を達成（例：5日間Z500のRMSEは単一予測で296.7）。
• 推論コストは単一GPUで約1400 ms、従来のNWPシステムより桁違いに高速。
• 0.25°×0.25°の空間解像度を達成し、13の圧力レベルと5つの上空変数/4つの地表変数を確保し、高忠実度の全球予報を実現。
• 地球特有の位置バイアスを持つ3DESTが高度と緯度関連のパターンを効果的に捉え、予報精度を向上。
• 階層的時系列集約により、1h, 3h, 6h, 24hのリードタイムを持つモデルを用いて累積予測誤差を減らし、中期予報の信頼性を向上。
• Pangu-Weatherは極端天候予測と大規模メンバーアンサンブルへの適用性を示し、推論が高速である。