[논문 리뷰] FuXi: A cascade machine learning forecasting system for 15-day global weather forecast

Lei Chen, Xiaohui Zhong외 5명|arXiv (Cornell University)|2023. 06. 22.

Climate variability and models인용 수 18

한 줄 요약

FuXi는 계단식으로 구성된 사전 학습된 ML 기상 예보 시스템으로, 0.25° 해상도의 15일 전지구 예보를 제공하며 ECMWF 앙상블과 유사한 성능을 달성하고 Z500 및 T2M의 유의한 예보 선행 시간을 연장합니다.

ABSTRACT

Over the past few years, due to the rapid development of machine learning (ML) models for weather forecasting, state-of-the-art ML models have shown superior performance compared to the European Centre for Medium-Range Weather Forecasts (ECMWF)'s high-resolution forecast (HRES) in 10-day forecasts at a spatial resolution of 0.25 degree. However, the challenge remains to perform comparably to the ECMWF ensemble mean (EM) in 15-day forecasts. Previous studies have demonstrated the importance of mitigating the accumulation of forecast errors for effective long-term forecasts. Despite numerous efforts to reduce accumulation errors, including autoregressive multi-time step loss, using a single model is found to be insufficient to achieve optimal performance in both short and long lead times. Therefore, we present FuXi, a cascaded ML weather forecasting system that provides 15-day global forecasts with a temporal resolution of 6 hours and a spatial resolution of 0.25 degree. FuXi is developed using 39 years of the ECMWF ERA5 reanalysis dataset. The performance evaluation, based on latitude-weighted root mean square error (RMSE) and anomaly correlation coefficient (ACC), demonstrates that FuXi has comparable forecast performance to ECMWF EM in 15-day forecasts, making FuXi the first ML-based weather forecasting system to accomplish this achievement.

연구 동기 및 목표

• 장기 예보에서 누적 오차를 줄이기 위해 계단식 머신러닝 모델의 활용을 촉진한다.
• ERA5 데이터를 사용하여 0.25° 해상도의 15일 예보를 생성하는 계단식 ML 예측 시스템 FuXi를 개발한다.
• FuXi가 ECMWF 앙상블 성능과 일치할 수 있으며 주요 변수에 대한 유의한 예보 선행 시간을 연장함을 보인다.
• FuXi 앙상블 예보가 ECMWF 앙상블에 필적하는 불확실성 추정치를 제공함을 보여준다.

제안 방법

• FuXi를 학습시키기 위해 0.25° 그리고 6시간 간격의 ERA5 재분석 데이터를 39년 사용한다.
• FuXi를 세 가지 특화 모델의 계단식으로 구성한다: FuXi-Short (0–5일), FuXi-Medium (5–10일), FuXi-Long (10–15일).
• FuXi 기본 구조는 큐브 임베딩, 48개의 Swin Transformer V2 블록을 갖춘 U-Transformer, 그리고 최종 FC 계층을 결합한다.
• 두 단계 학습으로 학습한다: 1단계 사전 학습(단일 6시간 단계를 예측)과 자기회귀 커리큘럼으로 계단식 모델의 미세조정.
• 학습 중 자기회귀 다중 스텝 손실을 사용하여 안정성을 개선하고 누적 오차를 줄인다.
• Perlin 노이즈로 초기 조건을 섭동하고 몬테카를로 드롭아웃을 적용하여 50멤버 FuXi 앙상블을 만든다.

Figure 1 : Overall architecture of FuXi model. a) The FuXi model consists of three components: cube embedding, U-Transformer, and fully connected (FC) layer; b) FuXi-Short, FuXi-Medium, and FuXi-Long models cascade and produce 15-day forecasts, with each model generating 5 days forecasts.

실험 결과

연구 질문

• RQ1 계단식 ML 아키텍처가 장기 예보의 누적 오차를 줄이고 15일 예보에서 ECMWF 엔상블 성능과 일치할 수 있는가?
• RQ2 ECMWF HRES와 비교하여 Z500 및 T2M에 대해 달성 가능한 예측 선행 시간 연장은 무엇인가?
• RQ3 FuXi 앙상블이 ECMWF 앙상블에 비해 예측 불확실성에서 경쟁력을 갖추는가?
• RQ4 다수의 변수 및 선행 시간에 대해 FuXi가 결정론적 벤치마크(HRES, EM) 대비 어떻게 성능을 보이는가?

주요 결과

• FuXi의 계단식 아키텍처는 0.25°의 15일 예보를 ECMWF 앙상블 평균(EM)과 비교할 수 있게 한다.
• FuXi는 Z500에 대해 10.5일, T2M에 대해 14.5일의 ACC>0.6인 예측 유의 시간을 확장한다.
• FuXi는 다수의 변수에서 15일 예보에서 ECMWF HRES를 능가하며, ACC 및 RMSE 이점은 선행 시간이 길어질수록 증가한다.
• FuXi 앙상블 예보가 여러 분야에서 9일 이내에 ECMWF 앙상블과 유사한 CRPS 성능을 달성하여 유용한 불확실성 추정치를 제시한다.

Figure 2 : Comparison of the globally-averaged latitude-weighted ACC (first and second rows) and RMSE (third and fourth rows) of the HRES (dark green lines), GraphCast (organge lines), and FuXi (light blue lines) for 4 surface variables, such as ${MSL}$ , ${T2M}$ , ${U10}$ , and ${V10}$ , and 4 uppe