[논문 리뷰] The Compatibility between the Pangu Weather Forecasting Model and Meteorological Operational Data

Wencong Cheng, Yan Yan외 4명|arXiv (Cornell University)|2023. 08. 07.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 3

한 줄 요약

이 연구는 다양한 NWP 시스템의 운영 기상 분석과 오픈소스 Pangu-Weather 모델 간의 호환성을 평가한다. ERA5, ECMWF-IFS, NOAA-GFS 및 통합 初기 조건을 사용한 사례 연구를 통해, 모델이 다양한 입력에서 안정적인 예보 성능을 유지하며, 국지적 초기 조건의 품질 향상이 지역 예보 정확도를 크게 향상시킨다는 것을 입증한다. 이는 모델의 일반화 능력과 운영용 실용성 확인을 뒷받침한다.

ABSTRACT

Recently, multiple data-driven models based on machine learning for weather forecasting have emerged. These models are highly competitive in terms of accuracy compared to traditional numerical weather prediction (NWP) systems. In particular, the Pangu-Weather model, which is open source for non-commercial use, has been validated for its forecasting performance by the European Centre for Medium-Range Weather Forecasts (ECMWF) and has recently been published in the journal "Nature". In this paper, we evaluate the compatibility of the Pangu-Weather model with several commonly used NWP operational analyses through case studies. The results indicate that the Pangu-Weather model is compatible with different operational analyses from various NWP systems as the model initial conditions, and it exhibits a relatively stable forecasting capability. Furthermore, we have verified that improving the quality of global or local initial conditions significantly contributes to enhancing the forecasting performance of the Pangu-Weather model.

연구 동기 및 목표

• 다양한 NWP 시스템의 운영 분석을 초기 조건으로 사용할 때 Pangu-Weather 모델이 효과적으로 작동하는지 평가하는 것.
• 다양한 글로벌 및 지역 운영 분석을 입력으로 사용했을 때 모델의 예보 성능을 평가하는 것.
• 국지적 초기 조건의 품질 향상이 모델의 지역 예보 정확도를 향상시키는지 조사하는 것.
• 모델의 성능이 특정 입력 데이터(예: ERA5)에 국한되는지 아니면 다양한 NWP 시스템에 일반화되는지 판단하는 것.
• 실제 운영 데이터와의 호환성 검증을 통해 데이터 기반 기상 모델의 실용적 배포를 지원하는 것.

제안 방법

• 오픈소스 Pangu-Weather 모델 추론 엔진을 사용한 사례 연구를 수행하였다.
• ERA5, ECMWF-IFS, NOAA-GFS 및 통합 데이터셋(eecmfpadGFS)의 4종의 운영 NWP 분석을 초기 조건으로 사용하였다.
• 각 초기 조건 세트를 기반으로 240시간 동안 글로벌 및 지역 예보를 생성하였다.
• 표준 기상 변수(MSLP, T2, U10, V10, Q500, T500, U500, V500, Z500)를 사용하여 모델 출력을 해당 NWP 시스템의 예보와 비교하였다.
• 국지적 영향을 테스트하기 위해 ECMWF-IFS(동아시아)와 NOAA-GFS(지구 나머지 부분)를 융합한 통합 초기 조건 데이터셋(eecmfpadGFS)을 생성하였다.
• 다양한 변수와 지역에서 공간 상관계수 및 평균 제곱근 오차 지표를 사용하여 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 Pangu-Weather 모델이 다양한 NWP 시스템의 운영 분석을 초기 조건으로 사용할 때 신뢰할 수 있는 예보를 생성할 수 있는가?
• RQ2 모델의 예보 성능이 초기 조건의 원천에 따라 크게 달라지는가?
• RQ3 국지적 초기 조건의 품질 향상이 모델의 지역 예보 정확도에 얼마나 큰 영향을 미치는가?
• RQ4 모델의 성능이 훈련 데이터(예: ERA5)를 초월해 일반화되는가, 아니면 특정 입력 유형에 민감한가?
• RQ5 고품질 운영 데이터로 초기화되었을 때, 모델이 기존 NWP 시스템을 능가하거나 대체할 수 있는가?

주요 결과

• ECMWF-IFS, NOAA-GFS 및 ERA5의 운영 분석을 초기 조건으로 사용할 경우, Pangu-Weather 모델은 원래 NWP 제품과 비교해 동등하거나 더 우수한 예보 결과를 도출한다.
• 글로벌 초기 조건의 품질 향상은 모델의 전반적 예보 성능 향상에 명백한 기여를 한다.
• ECMWF-IFS와 NOAA-GFS 데이터를 융합해 동아시아 지역의 국지적 초기 조건을 향상시킬 경우, 모델의 지역 예보 정확도가 뚜렷이 향상되며, 특히 MSLP 및 T2와 같은 변수에서 두드러진다.
• 훈련 데이터에 유사한 데이터(예: ECMWF-IFS)로 초기화할 경우 모델이 가장 우수한 성능을 보이며, 이는 훈련에 사용된 NWP 시스템의 특성에 어느 정도 적응된다는 것을 시사한다.
• 다양한 운영 데이터 소스에 걸쳐 강력한 일반화 능력을 보이며, 다양한 운영 예보 워크플로우에의 통합 가능성을 시사한다.
• 연구는 국지적 초기 조건 최적화가 글로벌 초기 조건 향상보다 지역 예보 향상에 더 효과적임을 확인하며, 성능 향상에 실용적인 길을 제시한다.