[論文レビュー] Aardvark weather: end-to-end data-driven weather forecasting

Anna Vaughan, Stratis Markou+9 more|arXiv (Cornell University)|Mar 30, 2024

Hydrological Forecasting Using AI被引用数 8

ひとこと要約

Aardvark Weatherは、生データの観測を直接予測へマッピングする初のエンドツーエンドのデータ駆動型気象予測システムを提示します。初期状態推定、グローバル予測、および下流の観測地点予測を外部のNWP入力なしで実現します。

ABSTRACT

This resource contains the key source code, some sample data and the trained models from the paper: "End-to-end data-driven weather forecasting."

研究の動機と目的

• エンドツーエンドの気象予測のために、完全なNWPパイプラインをデータ駆動アプローチに置き換える動機付け。
• 生データ観測を取り込み、グローバルな格子予報と局所の観測地点予報の双方を出力するエンドツーエンドモデルを開発する。
• 5–7日先予測の高精度な予測を実証し、従来のNWPに比べた計算効率の潜在的な向上を示す。
• 再分析データによる事前学習と観測データでの微調整を可能にし、地域によるデータ不足に対処する。

提案手法

• オングリッド・オフグリッドデータおよび欠損値を扱うため、エンコーダー、プロセッサー、デコーダーからなる3モジュールのニューラルプロセスベースアーキテクチャ（ConvCNP）を提案する。
• スケーラブルなエンドツーエンド学習を可能にするため、各モジュールにUNetバックボーンを使用する。
• 現地観測とリモートセンシング源からの観測入力を格子状の初期状態にエンコードし、プロセッサーを介して自己回帰的に予測し、局所の観測地点予報へデコードする。
• 前処理学習のためERA5再分析データで訓練し、次に2007–2022年の実観測データを用いて初期状態と予測を改善するためにファインチューニングする。
• SetConv層を活用してオフグリッドデータを補間し、格子状予測を任意の測定地点の場所へ写像し、地形情報を組み込む。

Figure 1 : Illustration of the complete end-to-end weather prediction pipeline. First, in the atmospheric state estimation stage (green), observed data from a range of sources including remote sensing platforms, marine observation platforms (e.g. ships) and in-situ land-based observation stations (w

実験結果

リサーチクエスチョン

• RQ1 既存のNWPシステムからの入力を使わずに、エンドツーエンドのデータ駆動モデルが全球予報と局所予報の両方を生成できるか。
• RQ2 複数の気圧レベルでの24変数および局所観測地点予報に対するエンドツーエンドモデルの予測能力はどの程度か。
• RQ3 持続性、気候統計、およびIFS-HRESといったベースラインと比較した場合、精度と計算効率の点でエンドツーエンドモデルはどうか。
• RQ4 ERA5再分析データでの事前学習が、観測データでファインチューニングした際の性能をどの程度改善できるか。
• RQ5 多様な地理的地域において、オフザグリッドデータと欠損観測をモデルがどの程度うまく扱えるか。

主な発見

• このモデルは、1.41°グリッド・24時間の時間分解能で、複数レベルの24変数の高精度予測を、5〜7日先のリードタイムで提供します。
• 生データ観測からの全球初期状態推定は、気候統計よりも誤差がはるかに小さく、いくつかの指標でIFS-HRESには及ばないものの競争力があります。
• 局地の観測地点予報では、T2M、MSLP、U10 の複数のリードタイムにおいて、最寄り近傍のIFS-HRESベースラインを上回ります。
• エンドツーエンドシステムは、従来のNWPベースラインより大幅に低い計算資源で動作し、少数のGPUセットで訓練可能です。
• ERA5での事前学習は、データが乏しい一部地域のデータ不足に対処し、観測データでのファインチューニング時にエンコーダの有用性を高めます。