[논문 리뷰] Pangu-Weather: A 3D High-Resolution Model for Fast and Accurate Global Weather Forecast

Kaifeng Bi, Lingxi Xie외 4명|arXiv (Cornell University)|2022. 11. 03.

Meteorological Phenomena and Simulations인용 수 123

한 줄 요약

Pangu-Weather는 3D Earth-Specific Transformer (3DEST)와 계층적 시간적 집계를 도입하여 빠르고 고해상도 글로벌 기상 예보를 제공하며, 정확도 측면에서 전통적인 NWP 방법을 능가합니다.

ABSTRACT

In this paper, we present Pangu-Weather, a deep learning based system for fast and accurate global weather forecast. For this purpose, we establish a data-driven environment by downloading $43$ years of hourly global weather data from the 5th generation of ECMWF reanalysis (ERA5) data and train a few deep neural networks with about $256$ million parameters in total. The spatial resolution of forecast is $0.25^\circ imes0.25^\circ$, comparable to the ECMWF Integrated Forecast Systems (IFS). More importantly, for the first time, an AI-based method outperforms state-of-the-art numerical weather prediction (NWP) methods in terms of accuracy (latitude-weighted RMSE and ACC) of all factors (e.g., geopotential, specific humidity, wind speed, temperature, etc.) and in all time ranges (from one hour to one week). There are two key strategies to improve the prediction accuracy: (i) designing a 3D Earth Specific Transformer (3DEST) architecture that formulates the height (pressure level) information into cubic data, and (ii) applying a hierarchical temporal aggregation algorithm to alleviate cumulative forecast errors. In deterministic forecast, Pangu-Weather shows great advantages for short to medium-range forecast (i.e., forecast time ranges from one hour to one week). Pangu-Weather supports a wide range of downstream forecast scenarios, including extreme weather forecast (e.g., tropical cyclone tracking) and large-member ensemble forecast in real-time. Pangu-Weather not only ends the debate on whether AI-based methods can surpass conventional NWP methods, but also reveals novel directions for improving deep learning weather forecast systems.

연구 동기 및 목표

• ERA5 재분석 데이터를 사용하여 데이터 기반 글로벌 기상 예보 프레임워크를 구축한다.
• 입력과 출력에 높이 정보(기압 레벨)를 통합하는 3D 모델을 개발한다.
• 계층적 시간적 집계 전략으로 중기 예보 정확도를 향상시킨다.
• 극한 기상 예보 및 대규모 멤버 앙상블에의 적용 가능성을 입증한다.
• 고해상도에서 AI 기반 예보가 기존 NWP를 능가할 수 있음을 보여준다.

제안 방법

• 0.25°×0.25° 해상도에 13 기압 레벨 및 4 표면 변수를 사용하고, ERA5 데이터(훈련 1979–2017, 검증 2019, 테스트 2018/2020/2021) 사용.
• 3D Weather 상태를 처리하고 patch 임베딩/복구를 사용하는 3D Earth-Specific Transformer (3DEST)을 도입한다.
• 주의 메커니즘에서 위도 및 높이 변화를 고려하기 위해 지구 특유의 위치 편향을 포함한다.
• 3D 데이터를 모델링하면서 계산 비용을 관리하기 위해 Swin-transformer에서 영감을 받은 이동 윈도우 어텐션을 적용한다.
• 1h, 3h, 6h, 24h 예측 기간에 대해 별도의 모델을 학습시켜 계층적 시간적 집계를 구현하고 반복 예측 오차를 줄인다.
• Huawei Cloud GPU 클러스터(192개 NVIDIA Tesla-V100 GPU)에서 학습 및 배치를 수행하며, 단일 GPU에서 예측당 추론 시간이 약 1,400 ms로 보고된다.

실험 결과

연구 질문

• RQ1 다양한 예측 예고 시간 및 인자(지오포텐셜, 습도, 바람, 기온 등)에서 AI 기반 방법이 최첨단 NWP를 정확도 측면에서 능가할 수 있는가?
• RQ2 3D(높이) 정보와 지구 친화적 바이어스의 통합이 2D 접근법에 비해 AI 기반 기상 예보를 향상시키는가?
• RQ3 계층적 시간적 집계가 중기 예보에서 누적 예측 오차를 줄이고 극한 기상 및 앙상블 예측의 신뢰성을 높일 수 있는가?
• RQ4 다중 GPU 클러스터에서 대형 3D 트랜스포머 기반 기상 모델의 실용적 계산 비용과 확장성은 어느 수준인가?

주요 결과

• Pangu-Weather는 1시간에서 1주일까지 모든 요소와 예보 기간에서 작동 중인 IFS와 FourCastNet보다 더 높은 정확도를 달성합니다(예: 5일 Z500의 RMSE = 296.7, 단일 예측).
• 단일 GPU에서 추론 시간이 약 1,400 ms로, 전통적 NWP 시스템보다 수십 배 빠릅니다.
• 0.25°×0.25° 해상도, 13 기압 레벨, 상층 5개 변수/표면 4개 변수를 갖추어 고충실도 글로벌 예보를 가능하게 한다.
• Earth-specific 위치 편향이 포함된 3D Earth-Specific Transformer (3DEST)는 높이 및 위도 관련 패턴을 효과적으로 포착하여 예보 정확도를 향상시킨다.
• 1h, 3h, 6h, 24h 예측 기간의 모델을 사용하여 계층적 시간적 집계가 누적 예측 오차를 감소시키고 중기 예보 신뢰성을 향상시킨다.
• Pangu-Weather는 빠른 추론으로 극한 기상 예보 및 대규모 멤버 앙상블 시나리오에 대한 전이 가능성을 보여준다.