[논문 리뷰] Probabilistic Weather Forecasting with Hierarchical Graph Neural Networks

Joel Oskarsson, Tomas Landelius외 2명|arXiv (Cornell University)|2024. 06. 07.

Hydrological Forecasting Using AI인용 수 5

한 줄 요약

Graph-EFM을 소개하는 확률적 기상 예측 모델로, 계층적 그래프 신경망을 사용하여 시간 단계당 단일 순전파로 공간적으로 일관된 앙상블 예측을 생성합니다.

ABSTRACT

In recent years, machine learning has established itself as a powerful tool for high-resolution weather forecasting. While most current machine learning models focus on deterministic forecasts, accurately capturing the uncertainty in the chaotic weather system calls for probabilistic modeling. We propose a probabilistic weather forecasting model called Graph-EFM, combining a flexible latent-variable formulation with the successful graph-based forecasting framework. The use of a hierarchical graph construction allows for efficient sampling of spatially coherent forecasts. Requiring only a single forward pass per time step, Graph-EFM allows for fast generation of arbitrarily large ensembles. We experiment with the model on both global and limited area forecasting. Ensemble forecasts from Graph-EFM achieve equivalent or lower errors than comparable deterministic models, with the added benefit of accurately capturing forecast uncertainty.

연구 동기 및 목표

• chaotic 기상 시스템의 불확실성을 포착하기 위한 확률적 예측의 필요성에 대한 동기 부여.
• 공간적으로 일관된 예측을 가능하게 하는 계층적 그래프 신경망 프레임워크 개발.
• 효율적인 앙상블 샘플링을 가능하게 하는 잠재변수 확률 모델인 Graph-EFM 도입.
• 전 세계(1.5°) 및 제한 영역(10 km) 예측에서 Graph-EFM의 시연 및 보정 평가.
• 확률적 MLWP에 맞춘 학습 목표 및 개선된 GNN 레이어 제공으로 향상된 성능 달성

제안 방법

• 정보를 전파하고 공간 일관성을 강제하기 위한 다중 공간 스케일의 계층적 메시 그래프를 제안합니다.
• Zt가 불확실성을 나타내는 최상위 잠재 변수인 잠재 맵 p(Zt|Xt−2:t−1, Ft)와 Xt가 Zt 및 과거 상태들에 조건부인 것을 통해 Graph-EFM을 잠재 변수 모델로 형식화합니다.
• 두 부분으로 이루어진 단일 단계 모델을 정의합니다: 잠재 맵 p(Zt|Xt−2:t−1, Ft)와 예측기 p(Xt|Zt, Xt−2:t−1, Ft)를 가지며, 이는 스킵 연결이 있는 결정적 매핑으로 구현됩니다.
• learned q(Zt|Xt−2:t−1, Xt, Ft)와 CRPS 항을 포함하는 변분 objective(ELBO)로 학습합니다.
• Propagation Networks(Interaction Networks의 변형)를 사용하여 그리드에서 잠재상위로의 정보 흐름과 역방향 흐름을 개선합니다.
• 초기 상태를 perturb하지 않고도 Graph-FM을 기준선으로 평가하고 GraphCast/GraphCast+SWAG를 추가 기준선으로 평가합니다.

실험 결과

연구 질문

• RQ1 계층적 GNN이 잠재 변수와 함께 미래 기상 상태의 분포를 정확하게 모델링할 수 있는가?
• RQ2 Graph-EFM이 전 세계적 및 지역적 규모에서 공간적으로 일관된 보정된 앙상블 예측을 생성하는가?
• RQ3 확률적 Graph-EFM이 RMSE, CRPS 및 SpSkR에서 선행 시간별로 결정론적 Graph-FM 및 기존 기준선과 어떻게 비교되는가?
• RQ4 계층적 그래프 설계가 샘플링 효율성과 앙상블 다양성에 미치는 영향은 무엇인가?
• RQ5 경계 조건(LAM)을 사용한 제한 영역 모델링에서도 동일한 프레임워크로 얼마나 잘 다룰 수 있는가?

주요 결과

리드 타임	변수	모델	RMSE	CRPS	SpSkR	RMSE	CRPS	SpSkR
5 days	z500	GraphCast*	387	236	-	808	498	-
5 days	z500	Graph-FM	363	223	-	825	510	-
5 days	z500	GraphCast*+SWAG	437	269	0.07	960	590	0.12
5 days	z500	Graph-EFM (ms)	472	211	0.77	756	333	0.83
5 days	z500	Graph-EFM	399	169	1.18	695	299	1.15
5 days	2t	GraphCast*	1.65	1.00	-	2.82	1.69	-
5 days	2t	Graph-FM	1.57	0.94	-	2.82	1.66	-
5 days	2t	GraphCast*+SWAG	2.03	1.20	0.06	3.58	2.04	0.13
5 days	2t	Graph-EFM (ms)	1.76	0.77	0.75	2.55	1.09	0.82
5 days	2t	Graph-EFM	1.64	0.71	0.98	2.32	1.00	0.99
10 days	z500	GraphCast*	808	498	-	-	-	-
10 days	z500	Graph-FM	825	510	-	-	-	-
10 days	z500	GraphCast*+SWAG	960	590	0.12	-	-	-
10 days	z500	Graph-EFM (ms)	756	333	0.83	-	-	-
10 days	z500	Graph-EFM	695	299	1.15	-	-	-
10 days	2t	GraphCast*	2.82	1.69	-	-	-	-
10 days	2t	Graph-FM	2.82	1.66	-	-	-	-
10 days	2t	GraphCast*+SWAG	3.58	2.04	0.13	-	-	-
10 days	2t	Graph-EFM (ms)	2.55	1.09	0.82	-	-	-
10 days	2t	Graph-EFM	2.32	1.00	0.99	-	-	-
24 h	z500	GraphCast*	153	108	-	201	138	-
24 h	z500	Graph-FM	230	162	-	354	238	-
24 h	z500	GraphCast*+SWAG	219	136	0.08	376	206	0.10
24 h	z500	Graph-EFM (ms)	400	261	0.22	711	470	0.23
24 h	z500	Graph-EFM	172	91	0.84	219	115	0.75
24 h	wvint	GraphCast*	1.51	1.01	-	2.06	1.32	-
24 h	wvint	Graph-FM	1.64	1.08	-	2.48	1.58	-
24 h	wvint	GraphCast*+SWAG	1.78	1.17	0.05	2.34	1.50	0.05
24 h	wvint	Graph-EFM (ms)	2.39	1.43	0.16	3.51	2.12	0.13
24 h	wvint	Graph-EFM	1.61	0.79	0.57	2.08	1.00	0.53
57 h	z500	GraphCast*	201	138	-	-	-	-
57 h	z500	Graph-FM	354	238	-	-	-	-
57 h	z500	GraphCast*+SWAG	376	206	0.10	-	-	-
57 h	z500	Graph-EFM (ms)	711	470	0.23	-	-	-
57 h	z500	Graph-EFM	219	115	0.75	-	-	-
57 h	wvint	GraphCast*	2.06	1.32	-	-	-	-
57 h	wvint	Graph-FM	2.48	1.58	-	-	-	-
57 h	wvint	GraphCast*+SWAG	2.34	1.50	0.05	-	-	-
57 h	wvint	Graph-EFM (ms)	3.51	2.12	0.13	-	-	-
57 h	wvint	Graph-EFM	2.08	1.00	0.53	-	-	-

• Graph-EFM은 여러 변수와 선행 시간에서 기준선보다 낮은 CRPS를 달성하여 분포적 정확성이 더 우수함을 시사합니다.
• Graph-EFM의 앙상블 평균은 특히 장기 예측에서 결정론적 모델보다 RMSE를 개선하는 경향이 있습니다.
• 초기 상태를 perturb하지 않아도 Graph-EFM은 1에 가까운 SpSkR을 달성하여 불확실성 보정이 잘 이루어짐을 나타냅니다; SWAG 기반 앙상블은 보정이 좋지 않을 수 있습니다.
• LAM(Nordic MEPS 데이터)의 경우 Graph-EFM은 공간적으로 일관된 앙상블을 제공하지만 짧은 예측시간의 RMSE 이점은 다소 미미합니다.
• 계층적 그래프 구조는 대규모 앙상블의 효율적 샘플링을 가능하게 하며(예: 전 세계 예측에서 단일 GPU에서 약 200초에 80명 구성), 대규모 시뮬레이션에 유리합니다.
• 극한 기상 사례 연구(예: 허리케인 로라)는 위치 및 풍속 불확실성을 앙상블 예측에서 포착하는 모델의 능력을 보여줍니다.