[논문 리뷰] Huge Ensembles Part I: Design of Ensemble Weather Forecasts using Spherical Fourier Neural Operators

Ankur Mahesh, William D. Collins외 14명|arXiv (Cornell University)|2024. 08. 06.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 구면 푸리에 신경 연산자(SFNO)를 사용하여 1,000~10,000명의 구성원을 가진 거대한 앙상블을 생성하는 기계학습 기반의 통합 기상 예측 시스템을 소개한다. 이는 전통적인 수치 모델의 계산 한계를 극복한다. 초기 조건의 변동성과 모델 불확실성을 반영하기 위해 변동된 모델 파라미터와 번식 벡터 초기 조건 변동을 조합함으로써 校정된 신뢰할 수 있는 확률적 예측을 생성하며, 스펙트럼 및 극단 기상 현상 진단을 통과하여 낮은 빈도의 고영향 기상 현상을 현실적으로 시뮬레이션함을 보여준다.

ABSTRACT

Studying low-likelihood high-impact extreme weather events in a warming world is a significant and challenging task for current ensemble forecasting systems. While these systems presently use up to 100 members, larger ensembles could enrich the sampling of internal variability. They may capture the long tails associated with climate hazards better than traditional ensemble sizes. Due to computational constraints, it is infeasible to generate huge ensembles (comprised of 1,000-10,000 members) with traditional, physics-based numerical models. In this two-part paper, we replace traditional numerical simulations with machine learning (ML) to generate hindcasts of huge ensembles. In Part I, we construct an ensemble weather forecasting system based on Spherical Fourier Neural Operators (SFNO), and we discuss important design decisions for constructing such an ensemble. The ensemble represents model uncertainty through perturbed-parameter techniques, and it represents initial condition uncertainty through bred vectors, which sample the fastest growing modes of the forecast. Using the European Centre for Medium-Range Weather Forecasts Integrated Forecasting System (IFS) as a baseline, we develop an evaluation pipeline composed of mean, spectral, and extreme diagnostics. Using large-scale, distributed SFNOs with 1.1 billion learned parameters, we achieve calibrated probabilistic forecasts. As the trajectories of the individual members diverge, the ML ensemble mean spectra degrade with lead time, consistent with physical expectations. However, the individual ensemble members' spectra stay constant with lead time. Therefore, these members simulate realistic weather states, and the ML ensemble thus passes a crucial spectral test in the literature. The IFS and ML ensembles have similar Extreme Forecast Indices, and we show that the ML extreme weather forecasts are reliable and discriminating.

연구 동기 및 목표

• 낮은 빈도의 고영향 기상 현상(LLHI)을 연구하기 위해 전통적인 물리 기반 모델로는 계산적으로 비현실적인 거대한 기상 앙상블(1,000~10,000명의 구성원)을 생성하는 데 어려움을 해결하기 위해.
• 초기 조건 및 모델 불확실성을 정확히 포착하면서도 장기적인 역학적 안정성을 유지하는 기계학습 기반의 앙상블 예측 시스템을 설계하기 위해.
• 확률적 예측의 신뢰성과 분류 능력을 보장하기 위해, 평균, 스펙트럼 및 극단 진단을 사용하여 ML 앙상블의 성능을 운영 모델과 평가하기 위해.
• SFNO 기반의 앙상블이 장기적인 자동 회귀 롤아웃 동안 실제 대기 역학과 극단 기상 현상을 현실적으로 시뮬레이션할 수 있음을 보여주기 위해.
• 글로벌 재분석 데이터를 사용하여 거대한 ML 기반 기상 앙상블의 학습, 추론 및 평가를 반복 가능하고 오픈소스로 제공하는 프레임워크를 제공하기 위해.

제안 방법

• 연구는 구면 푸리에 신경 연산자(SFNO)를 사용한다. SFNO는 구면에서 편미분 방정식을 해결하기 위해 설계된 딥러닝 아키텍처로, 유럽 중기 기상 예보 센터(ECMWF)의 통합 예보 시스템(IFS)을 모방한다.
• 앙상블는 학습 후에 변동된 모델 파라미터를 사용하여 모델 불확실성을 표현하고, 예측 오차의 가장 빠르게 증가하는 모드를 따라 초깃값 불확실성을 샘플링하기 위해 번식 벡터를 사용하여 구성된다.
• ERA5 재분석 데이터를 참조로 사용하여 각 시간 단계에서 결정론적 평균 제곱오차(MSE)를 최소화하도록 11억 개의 파rameter를 가진 대규모 분산 SFNO가 학습된다.
• 평가 파이프라인은 평균장 진단, 스펙트럼 진단(스펙트럼 밀도), 극단 기상 진단(예: 극단 예보 지수(Extreme Forecast Index, EFI) 및 신뢰도 다이어그램)를 포함한다.
• 앙상블 추론는 earth2mip 프레임워크의 수정된 버전을 사용하며, 번식 벡터 생성 및 확률적 평가를 위한 전용 모듈이 포함되어 있다.
• 모델의 대규모 학습 및 평가를 위해 NERSC 및 ALCC 프로그램의 고성능 컴퓨팅 자원을 활용한다.

Figure 1: Overview of ensemble architecture. The ensemble is constructed using two methods: initial condition perturbations and model perturbations. The initial condition perturbations are generated using bred vectors, to sample the fastest growing errors in the initial condition. Model perturbation

실험 결과

연구 질문

• RQ1 Spherical Fourier Neural Operators 기반의 기계학습 모델이 1,000~10,000명의 구성원을 가진 거대한 기상 앙상블을 계산적으로 실현 가능하고 역학적으로 안정적으로 생성할 수 있는가?
• RQ2 번식 벡터와 변동된 모델 파rameter를 각각 사용하여 ML 앙상블이 초깃값 불확실성과 모델 불확실성을 정확히 표현하는가?
• RQ3 SFNO 기반 앙상블의 스펙트럼 특성은 IFS 및 ERA5 재분석 데이터와 비교해 볼 때, 시간에 따른 스펙트럼 밀도 변화 측면에서 어떻게 다른가?
• RQ4 ML 앙상블의 극단 기상 예측은 신뢰도 다이어그램 및 극단 예보 지수(Extreme Forecast Index, EFI)로 측정했을 때, 신뢰할 수 있고 분류 능력이 있는가?
• RQ5 ML 앙상블이 기후 위험 분포의 장꼬리 부분을 효과적으로 샘플링하여 낮은 빈도의 고영향 기상 현상의 표현을 향상시킬 수 있는가?

주요 결과

• ML 앙상블의 평균 스펙트럼은 예측 시간이 증가함에 따라 열악해지지만, 물리적 기대와 일치하며, 개별 앙상블 구성원의 스펙트럼은 안정된 상태를 유지함으로써 롤아웃 기간 동안 대기 역학의 현실적인 시뮬레이션을 보여준다.
• SFNO 기반 앙상블는 校정된 확률적 예측을 달성하며, 신뢰도 다이어그램에서 예측된 95번째 백분위수 기온 사건의 빈도가 48시간 및 96시간 예측 시점에서 관측된 빈도와 매우 유사하게 일치한다.
• ML 앙상블의 극단 예보 지수(Extreme Forecast Index, EFI) 값은 IFS와 유사하여, 모델이 극단 기상 현상에 대해 동일 수준의 예측 능력을 확보하고 있음을 확인한다.
• 20~30%의 확률로 95번째 백분위수 기온을 예측했을 때 실제 발생 빈도는 예측보다 略로 높게 나타나, 예측이 다소 보수적이지만 신뢰할 수 있는 확률적 예측임을 시사한다.
• 11억 개의 파rameter를 가진 학습된 SFNO 모델은 0.25° 수평 해상도에서 IFS를 성공적으로 모방하며, 운영 시스템과 비교해 결정론적 예측 성능를 유사하게 달성한다.
• 모델 학습, 앙상블 추론, 평가를 포함한 전체 파이프라인은 버전 제어된 코드와 모델 가중치가 Zenodo 및 NERSC 포털을 통해 공개되어 있다.

Figure 2: Comparing different versions of SFNO. (a) The 850 hPa temperature spread-error ratios are compared for lagged ensembles. A lagged ensemble is created by initializing SFNO using nine adjacent time steps, and the spread-error is shown for each SFNO configurations. (b) Relative power spectra