[논문 리뷰] Learning to Advect: A Neural Semi-Lagrangian Architecture for Weather Forecasting

Carlos Pereira, Stéphane Gaudreault외 10명|arXiv (Cornell University)|2026. 01. 29.

Model Reduction and Neural Networks인용 수 0

한 줄 요약

PARADIS는 물리학에서 영감을 받은 신경 아키텍처와 미분가능한 신경 반-라그랑주 수송 연산자를 도입하여, 1° 해상도에서 최첨단 또는 거의 최상에 해당하는 예측을 달성하는 한편, 0.25° 기준선에 비해 학습 비용을 줄입니다.

ABSTRACT

Recent machine-learning approaches to weather forecasting often employ a monolithic architecture, where distinct physical mechanisms (advection, transport), diffusion-like mixing, thermodynamic processes, and forcing are represented implicitly within a single large network. This representation is particularly problematic for advection, where long-range transport must be treated with expensive global interaction mechanisms or through deep, stacked convolutional layers. To mitigate this, we present PARADIS, a physics-inspired global weather prediction model that imposes inductive biases on network behavior through a functional decomposition into advection, diffusion, and reaction blocks acting on latent variables. We implement advection through a Neural Semi-Lagrangian operator that performs trajectory-based transport via differentiable interpolation on the sphere, enabling end-to-end learning of both the latent modes to be transported and their characteristic trajectories. Diffusion-like processes are modeled through depthwise-separable spatial mixing, while local source terms and vertical interactions are modeled via pointwise channel interactions, enabling operator-level physical structure. PARADIS provides state-of-the-art forecast skill at a fraction of the training cost. On ERA5-based benchmarks, the 1 degree PARADIS model, with a total training cost of less than a GPU month, meets or exceeds the performance of 0.25 degree traditional and machine-learning baselines, including the ECMWF HRES forecast and DeepMind's GraphCast.

연구 동기 및 목표

• 수송이 지배하는 동역학을 포착하는 데 있어 모놀리식 DL 기상 모델의 한계를 동기 부여하고 해결한다.
• 잠재 특징을 학습된 궤적을 따라 수송하기 위한 신경 반-라그랑주 연산자를 도입한다.
• 물리학에서 영감을 받은 분해를 운송(Advection), 확산(Diffusion), 반응(Reaction)으로 강제하여 물리적 일관성을 향상시킨다.
• 소스 규모의 에너지 및 위상 정보를 보존하기 위한 스펙트럴 교육 커리큘럼을 개발한다.
• ERA5 벤치마크에서 1° 해상도로 최첨단 예측 기술을 입증하고 경쟁력 있는 열대저기압 추적을 보여준다.

제안 방법

• 구면에서 학습된 속도장을 따라 잠재 특징을 수송하는 미분가능한 bicubic 보간을 사용하는 Neural Semi-Lagrangian(NSL) 계층.
• 인코더–프로세서–디코더로 구성된 잠재 공간 형식; 운송에 적합한 부분공간으로의 투영.
• 운동(Advection, 속도 네트워크), 확산(깊이별 분리합 컨볼루션), 반응(1x1 컨볼루션)으로의 연산자 수준 분해.
• Lie–Trotter 연산자 분해를 통해 A_net, D_net, R_net을 서브 스텝 내에서 순차적으로 적분.
• 지구 전체의 연속성을 보존하기 위한 Geocyclic Padding과 극점 처리를 통한 구면 기하학 처리.
• 상호보완적인 세 단계 학습 커리큘럼: 반전된 Huber 로스, 자기회귀 미세조정, 스펙트럴 미세조정(AMSE)을 통해 구면 조화에서 진폭/위상을 보존.

Figure 1 : Tracking of cyclone eye for Hurricane Laura (August 2020) using different models and the observed trajectory (IBTrACS dataset (Knapp et al. , 2010 ; Gahtan et al. , 2024 ) ).

실험 결과

연구 질문

• RQ1 물리학에서 영감을 받은 연산자 분해(수송-확산-반응)가 모놀리식 DL 모델에 비해 글로벌 기상 예측을 개선하는가?
• RQ2 미분가능한 신경 반-라그랑주 수송을 임베딩하면 장거리 수송과 작은 규모의 스펙트럴 에너지를 보존하는가?
• RQ3 1° 대 0.25° 기준에서 어떤 해상도와 학습 전략이 최첨단 또는 유사한 예측 기술을 제공하는가?
• RQ4 잠재 공간 수송의 구체화가 사이클론 추적 및 강도 예측에 어떤 영향을 미치는가?
• RQ5 스펙트럴 충실도에 초점을 둔 학습이 ML 기반 기상 예측의 이중 페널티(double-penalty) 효과를 완화하는가?

주요 결과

Model	z500_1d	z500_5d	z500_10d	t850_1d	t850_5d	t850_10d	q700_1d	q700_5d	q700_10d	u850_1d	u850_5d	u850_10d	v850_1d	v850_5d	v850_10d	w850_1d	w850_5d	w850_10d	msl_1d	msl_5d	msl_10d	2t_1d	2t_5d	2t_10d
HRES	4.38e+01	3.09e+02	8.00e+02	7.37e-01	1.93e+00	3.70e+00	7.71e-04	1.47e-03	1.97e-03	1.52e+00	3.99e+00	6.68e+00	1.52e+00	3.98e+00	6.71e+00	2.62e-01	3.26e-01	3.58e-01	0.0	0.0	0.0	0.0	0.0	0.0
GraphCast	4.05e+01	2.78e+02	7.29e+02	5.66e-01	1.61e+00	3.38e+00	5.19e-04	1.11e-03	1.64e-03	1.10e+00	3.25e+00	5.87e+00	1.10e+00	3.27e+00	5.88e+00	1.25e-01	1.66e-01	1.95e-01	0.0	0.0	0.0	0.0	0.0	0.0
Pangu	4.76e+01	2.99e+02	7.84e+02	6.78e-01	1.76e+00	3.59e+00	5.97e-04	1.26e-03	1.85e-03	1.29e+00	3.52e+00	6.32e+00	1.30e+00	3.56e+00	6.33e+00	-	-	-	0.0	0.0	0.0	0.0	0.0	0.0
PARADIS	3.94e+01	2.73e+02	7.27e+02	5.79e-01	1.59e+00	3.33e+00	5.31e-04	1.15e-03	1.72e-03	1.09e+00	3.20e+00	5.87e+00	1.10e+00	3.22e+00	5.90e+00	1.04e-01	1.50e-01	1.81e-03	0.0	0.0	0.0	0.0	0.0	0.0
PARADIS AMSE	4.01e+01	2.91e+02	7.87e+02	6.03e-01	1.68e+00	3.50e+00	5.42e-04	1.23e-03	1.81e-03	1.11e+00	3.46e+00	6.36e+00	1.09e-01	1.71e-01	2.14e-01	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0	0.0

• PARADIS는 ERA5 벤치마크에서 1° 해상도로 대부분의 변수 및 리드 타임에서 최고 또는 두 번째로 낮은 RMSE를 달성한다.
• Neural Semi-Lagrangian 수송으로 잠재 공간에서의 수송은 장거리 수송 및 동적 변수(u, v, w)의 취급을 개선한다.
• PARADIS는 2020년 80개 폭풍에서 더 높거나 비슷한 평균 위치 오차로 열대저기압 추적에 경쟁력 있는 성능을 제공한다.
• 다중 스케일 스펙트럴 충실도는 유지되며 AMSE로 향상될 수 있으며, 약간의 RMSE와 교환으로 작은 규모의 에너지 및 위상 일관성을 개선한다.
• 학습 비용이 크게 감소한다(학습에 0.8 GPU-개월; 추론 시 10일 예측당 3.5 GPU-초).
• 1° ERA5 데이터에서 PARADIS는 다양한 리드 타임과 변수에서 ECMWF HRES, GraphCast, Pangu Weather의 성능과 일치하거나 능가한다.

Figure 2 : Diagram of the PARADIS model.