[논문 리뷰] A Practical Probabilistic Benchmark for AI Weather Models

Noah Brenowitz, Yair Cohen외 7명|arXiv (Cornell University)|2024. 01. 27.

Meteorological Phenomena and Simulations인용 수 5

한 줄 요약

본 논문은 매개변수 없이 probabilistic 벤치마크로서 lagged ensemble forecasts (LEF)를 도입하여 인공 지능 기상 모델과 운영 기준선을 공정하게 비교하고, GraphCast와 Pangu가 확률적 능력에서 동점이며 장기 예측 훈련이 앙상블 보정(calibration)을 해칠 수 있음을 밝혔다.

ABSTRACT

Since the weather is chaotic, forecasts aim to predict the distribution of future states rather than make a single prediction. Recently, multiple data driven weather models have emerged claiming breakthroughs in skill. However, these have mostly been benchmarked using deterministic skill scores, and little is known about their probabilistic skill. Unfortunately, it is hard to fairly compare AI weather models in a probabilistic sense, since variations in choice of ensemble initialization, definition of state, and noise injection methodology become confounding. Moreover, even obtaining ensemble forecast baselines is a substantial engineering challenge given the data volumes involved. We sidestep both problems by applying a decades-old idea -- lagged ensembles -- whereby an ensemble can be constructed from a moderately-sized library of deterministic forecasts. This allows the first parameter-free intercomparison of leading AI weather models' probabilistic skill against an operational baseline. The results reveal that two leading AI weather models, i.e. GraphCast and Pangu, are tied on the probabilistic CRPS metric even though the former outperforms the latter in deterministic scoring. We also reveal how multiple time-step loss functions, which many data-driven weather models have employed, are counter-productive: they improve deterministic metrics at the cost of increased dissipation, deteriorating probabilistic skill. This is confirmed through ablations applied to a spherical Fourier Neural Operator (SFNO) approach to AI weather forecasting. Separate SFNO ablations modulating effective resolution reveal it has a useful effect on ensemble dispersion relevant to achieving good ensemble calibration. We hope these and forthcoming insights from lagged ensembles can help guide the development of AI weather forecasts and have thus shared the diagnostic code.

연구 동기 및 목표

• 결정론적 지표를 넘어 AI 기상 모델의 확률적 평가 필요성을 제시한다.
• 매개변수 없는 확장 가능한 상호 비교 프레임워크로 lagged ensemble forecasts (LEF)를 제안한다.
• 데이터 및 튜닝 필요 최소화로 AI 및 전통적 NWP 모델 간의 공정한 비교를 가능하게 한다.
• 장기 예측 시간의 훈련과 유효 해상도가 확률적 능력 및 앙상블 분산에 미치는 영향을 평가한다.

제안 방법

• 결정론적 hindcast로부터 2일 중심의 lagged ensemble(M=4, h=12h, 9 members)을 구성한다.
• CRPS, ensemble RMSE (eRMSE), deterministic RMSE (dRMSE), 및 산포도 대 eRMSE 보정(spread vs. eRMSE calibration)을 사용하여 확률적 능력을 평가한다.
• LEF를 사용하여 AI 모델(GraphCast, Pangu)과 IFS HRES 기준선을 비교한다.
• SFNO에 대한 소거 실험을 수행하여 장기 예측 자회귀 훈련이 분산과 능력에 미치는 영향을 연구한다.
• 유효 해상도(scale-factor)가 앙상블 분산에 미치는 영향을 조사한다.
• 진단 코드와 재현 가능한 채점 워크플로우를 제공한다 (github.com/NVIDIA/earth2mip).

Figure 1: Overview of lagged ensemble forecasting. Each ensemble member (color) is initialized at a different initial time (dots). The true time series (-) and the lagged ensemble average (- -) are also shown.

실험 결과

연구 질문

• RQ1 무슨 LEF가 운영 기준선에 상대하여 AI 기상 모델에 의미 있는 확률적 벤치마크가 될 수 있는가?
• RQ2 LEF로 평가할 때 선도적 데이터 기반 모델(GraphCast, Pangu)의 확률적 성능은 IFS와 어떻게 비교되는가?
• RQ3 다단계의 장기 예측 미세 조정이 확률적 능력과 앙상블 분산에 어떤 영향을 미치는가?
• RQ4 데이터 기반 모델의 유효 해상도를 변경하는 것이 앙상블 분산과 보정에 어떤 영향을 미치는가?

주요 결과

• LEF는 운영 앙상블 CRPS와 상관 관계가 있는 의미 있는 확률적 프록시를 제공하여 공정한 상호 비교를 가능하게 한다.
• GraphCast와 Pangu는 LEF 하에서 확률적 CRPS에서 사실상 동점을 보이며, GraphCast가 결정론적으로는 더 잘할 수 있다.
• 장기 예측 자기회귀 미세 조정은 앙상블 분산을 감소시키고 결정적 RMSE를 개선하지만 확률적 능력과 보정에는 악영향을 준다.
• SFNO의 낮은 유효 해상도는 여러 필드에서 앙상블 분산(spread)을 증가시키며, 확률적 능력에서 뚜렷한 이득은 미미하거나 없을 수 있다.
• 균일 가중치를 사용한 LEF는 분산/능력의 역학을 드러내고 특정 장기 예측 손실에서 소멸(dissipation)과 같은 효과를 강조한다.
• Lagged-ensemble 평가는 실용적이고 확장 가능한 벤치마크로서 AI 기상 예측의 개발과 평가를 이끌 수 있다.

Figure 2: Comparison between the global mean CRPS of $\mathrm{5}\mathrm{0}\mathrm{0}$ hpa height forecasts from a lagged ensemble and the IFS operational ensemble at a lead time of 5 days. Each dot shows a different initial time. The units of each axes are \unit m^2/s^2