[논문 리뷰] FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead

Kang Chen, Tao Han외 12명|arXiv (Cornell University)|2023. 04. 06.

Meteorological Phenomena and Simulations인용 수 136

한 줄 요약

FengWu는 다중 모드, 다중 작업 딥 러닝과 교차 모달 트랜스포머, 불확실성 손실, 재생 버퍼를 활용하여 10일을 넘는 기술 forecast를 확장하는 데이터 기반의 전 세계 중기 예보 시스템입니다. ACC(z500) > 0.6에서 10.75일 선두를 달성하고, 대상의 80%에서 GraphCast를 능가하며 추론 비용은 낮은 상태를 유지합니다.

ABSTRACT

We present FengWu, an advanced data-driven global medium-range weather forecast system based on Artificial Intelligence (AI). Different from existing data-driven weather forecast methods, FengWu solves the medium-range forecast problem from a multi-modal and multi-task perspective. Specifically, a deep learning architecture equipped with model-specific encoder-decoders and cross-modal fusion Transformer is elaborately designed, which is learned under the supervision of an uncertainty loss to balance the optimization of different predictors in a region-adaptive manner. Besides this, a replay buffer mechanism is introduced to improve medium-range forecast performance. With 39-year data training based on the ERA5 reanalysis, FengWu is able to accurately reproduce the atmospheric dynamics and predict the future land and atmosphere states at 37 vertical levels on a 0.25° latitude-longitude resolution. Hindcasts of 6-hourly weather in 2018 based on ERA5 demonstrate that FengWu performs better than GraphCast in predicting 80\% of the 880 reported predictands, e.g., reducing the root mean square error (RMSE) of 10-day lead global z500 prediction from 733 to 651 $m^{2}/s^2$. In addition, the inference cost of each iteration is merely 600ms on NVIDIA Tesla A100 hardware. The results suggest that FengWu can significantly improve the forecast skill and extend the skillful global medium-range weather forecast out to 10.75 days lead (with ACC of z500 > 0.6) for the first time.

연구 동기 및 목표

• 변수를 서로 다른 모달리티로 분리하여 기상 예보를 다중 모달, 다중 작업 학습 문제로 취급한다.
• 모달 맞춤형 인코더–디코더 아키텍처와 교차 모달 트랜스포머를 개발하여 모달 간 정보를 융합한다.
• 다중 작업 예측을 자동으로 균형 잡기 위해 불확실성 손실을 사용한다.
• 장기 예측 정확도와 학습 효율성을 개선하기 위해 재생 버퍼를 도입한다.

제안 방법

• 대기 변수 및 압력 레벨에 대응하는 여러 모달리티로 기상 데이터를 표현한다.
• 모달 맞춤형 인코더를 사용해 각 모달리티의 특징을 추출하고 교차 모달 트랜스포머로 이를 융합한다.
• 모달 맞춤형 디코더를 적용해 각 모달리티의 미래 상태를 예측한다.
• 동일 분산성 불확실성을 이용해 서로 다른 작업의 가중치를 자동으로 매길 수 있는 불확실성 손실을 적용한다.
• 이전 예측을 저장해 자회귀 추론을 모방하고 장기 예측을 개선하는 재생 버퍼를 구현한다.

실험 결과

연구 질문

• RQ1 지구적 중기 기상 예보를 다중 모달, 다중 작업 문제로 다루는 것이 예측 기술과 선두 시간 개선에 기여하는가?
• RQ2 모달별 인코더/디코더를 갖춘 교차 모달 트랜스포머가 단일 모달 기반 모델 및 GraphCast와 같은 기존 AI 모델보다 성능이 우수한가?
• RQ3 불확실성 기반 손실 가중치가 변수 및 압력 레벨 간 예측의 자동 균형을 이룰 수 있는가?
• RQ4 재생 버퍼가 장기 예측 정확도와 학습 효율성을 실제로 향상시키는가?

주요 결과

• FengWu는 z500에서 기술 예보 리드 타임을 10.75일로 확장했고 ACC>0.6를 달성하며 t2m에 대해서는 11.5일에 도달합니다.
• FengWu는 880개의 예측 대상 중 80%에서 GraphCast보다 더 높은 정확도를 달성합니다.
• FengWu는 NVIDIA Tesla A100 하드웨어에서 초당 600ms의 낮은 추론 비용을 유지합니다.
• IFS와 비교할 때 단일 멤버의 10일 예측 에너지 소비가 약 2000배 낮습니다.
• 장기 선두 타임에서 성능 향상을 유지하는 데 재생 버퍼가 결정적입니다.
• 학습은 39년 간 ERA5 데이터를 0.25° 해상도, 37개의 수직 레벨, 189개의 예측대에서 수행했습니다.