[論文レビュー] Learning to Advect: A Neural Semi-Lagrangian Architecture for Weather Forecasting

Carlos Pereira, Stéphane Gaudreault+10 more|arXiv (Cornell University)|Jan 29, 2026

Model Reduction and Neural Networks被引用数 0

ひとこと要約

PARADIS は differentiable neural semi-Lagrangian advection operator を用いた物理インスパイアを受けたニューラルアーキテクチャを導入し、1°分解能で最先端またはほぼ最高の予測精度を達成するとともに、0.25°のベースラインと比較して学習コストを低減します。

ABSTRACT

Recent machine-learning approaches to weather forecasting often employ a monolithic architecture, where distinct physical mechanisms (advection, transport), diffusion-like mixing, thermodynamic processes, and forcing are represented implicitly within a single large network. This representation is particularly problematic for advection, where long-range transport must be treated with expensive global interaction mechanisms or through deep, stacked convolutional layers. To mitigate this, we present PARADIS, a physics-inspired global weather prediction model that imposes inductive biases on network behavior through a functional decomposition into advection, diffusion, and reaction blocks acting on latent variables. We implement advection through a Neural Semi-Lagrangian operator that performs trajectory-based transport via differentiable interpolation on the sphere, enabling end-to-end learning of both the latent modes to be transported and their characteristic trajectories. Diffusion-like processes are modeled through depthwise-separable spatial mixing, while local source terms and vertical interactions are modeled via pointwise channel interactions, enabling operator-level physical structure. PARADIS provides state-of-the-art forecast skill at a fraction of the training cost. On ERA5-based benchmarks, the 1 degree PARADIS model, with a total training cost of less than a GPU month, meets or exceeds the performance of 0.25 degree traditional and machine-learning baselines, including the ECMWF HRES forecast and DeepMind's GraphCast.

研究の動機と目的

• モノリシックなディープラーニング気象モデルが対流支配ダイナミクスを捉える際の限界を動機づけ、解決する。
• Learned trajectories に沿って潜在特徴を輸送するニューラル半ラグランジュオペレーターを導入する。
• 対流、拡散、反応への物理インスパイアされた分解を課して物理的一貫性を向上させる。
• 極小スケールのエネルギーと位相情報を保持するスペクトル訓練カリキュラムを開発する。
• ERA5 ベンチマークで 1° 解像度の最先端または同等の予測スキルを示し、競争力のある台風追跡を達成する。

提案手法

• 球面上で学習された速度場に沿って潜在特徴を移流させる Neural Semi-Lagrangian (NSL) レイヤーを、微分可能な三次三次補間を用いて適用する。
• Encoder–Processor–Decoder による潜在空間の定式化；移流に適した輸送可能サブ空間への射影。
• オペレータレベルでの分解：移流（速度ネットワーク）、拡散（深さ方向分離畳み込み）、反応（1x1 畳み込み）。
• Lie–Trotter オペレーター分割を用いて A_net, D_net, R_net をサブステップ内で逐次積分。
• Geocyclic Padding と極部処理を用いた球面幾何の扱いにより地球全体での連続性を保つ。
• 三段階の訓練カリキュラム：反転Huber損失、自己回帰微調整、スペクトル微調整（AMSE）を通じて球面調和関数の振幅/位相を保持する。

Figure 1 : Tracking of cyclone eye for Hurricane Laura (August 2020) using different models and the observed trajectory (IBTrACS dataset (Knapp et al. , 2010 ; Gahtan et al. , 2024 ) ).

実験結果

リサーチクエスチョン

• RQ1 物理インスパイアされたオペレータ分解（移流-拡散-反応）は、モノリシックなDLモデルと比較して全球的な天気予報を改善できるか？
• RQ2 微分可能なニューラル半ラグランジュ移流を埋め込むことは長距離輸送を改善し、小スケールスペクトルエネルギーを保持するか？
• RQ3 1°と0.25°のベースラインに対して、どの解像度と訓練戦略が最先端または同等の予測スキルをもたらすか？
• RQ4 潜在空間の explicit 輸送は台風追跡と強度予測にどのような影響を与えるか？
• RQ5 スペクトル適合性に焦点を当てた訓練はMLベースの天気予測におけるダブルペナルティ効果を緩和できるか？

主な発見

Model	z500_1d	z500_5d	z500_10d	t850_1d	t850_5d	t850_10d	q700_1d	q700_5d	q700_10d	u850_1d	u850_5d	u850_10d	v850_1d	v850_5d	v850_10d	w850_1d	w850_5d	w850_10d	msl_1d	msl_5d	msl_10d	2t_1d	2t_5d	2t_10d
HRES	4.38e+01	3.09e+02	8.00e+02	7.37e-01	1.93e+00	3.70e+00	7.71e-04	1.47e-03	1.97e-03	1.52e+00	3.99e+00	6.68e+00	1.52e+00	3.98e+00	6.71e+00	2.62e-01	3.26e-01	3.58e-01	0.0	0.0	0.0	0.0	0.0	0.0
GraphCast	4.05e+01	2.78e+02	7.29e+02	5.66e-01	1.61e+00	3.38e+00	5.19e-04	1.11e-03	1.64e-03	1.10e+00	3.25e+00	5.87e+00	1.10e+00	3.27e+00	5.88e+00	1.25e-01	1.66e-01	1.95e-01	0.0	0.0	0.0	0.0	0.0	0.0
Pangu	4.76e+01	2.99e+02	7.84e+02	6.78e-01	1.76e+00	3.59e+00	5.97e-04	1.26e-03	1.85e-03	1.29e+00	3.52e+00	6.32e+00	1.30e+00	3.56e+00	6.33e+00	-	-	-	0.0	0.0	0.0	0.0	0.0	0.0
PARADIS	3.94e+01	2.73e+02	7.27e+02	5.79e-01	1.59e+00	3.33e+00	5.31e-04	1.15e-03	1.72e-03	1.09e+00	3.20e+00	5.87e+00	1.10e+00	3.22e+00	5.90e+00	1.04e-01	1.50e-01	1.81e-03	0.0	0.0	0.0	0.0	0.0	0.0
PARADIS AMSE	4.01e+01	2.91e+02	7.87e+02	6.03e-01	1.68e+00	3.50e+00	5.42e-04	1.23e-03	1.81e-03	1.11e+00	3.46e+00	6.36e+00	1.09e-01	1.71e-01	2.14e-01	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0

• PARADIS は 1° 解像度で ERA5 ベンチマークの多くの変数とリードタイムで最良または2番目に良い RMSE を達成する。
• 潜在空間での移流的なニューラル半ラグランジュ輸送は長距離輸送と動的変数（例：u, v, w）の取り扱いを改善する。
• PARADIS は 2020年の80例の竜巻を通じて、より高解像度のベースラインと同等またはそれよりも良い平均位置誤差で熱帯低気圧の追跡予測を提供する。
• 多スケールのスペクトル適合性は維持され、AMSE で微調整すると小スケールエネルギーと位相の整合性が向上しつつ RMSE はわずかに増減する。
• 訓練コストが大幅に削減される（訓練に 0.8 GPU-month、推論時の 10日予報あたり 3.5 GPU秒）。
• 1° ERA5 データ上で PARADIS は ECMWF HRES、GraphCast、Pangu Weather のパフォーマンスと複数のリードタイムと変数で同等以上を達成する。

Figure 2 : Diagram of the PARADIS model.