[논문 리뷰] Towards an end-to-end artificial intelligence driven global weather forecasting system

Kun Chen, Lei Bai외 10명|arXiv (Cornell University)|2023. 12. 18.

Meteorological Phenomena and Simulations인용 수 9

한 줄 요약

이 논문은 Adas를 소개하고, AI 기반 데이터 동화 모델이며 이를 AI 기상 예보 모델 FengWu와 통합하여 FengWu-Adas를 형성한다. 이는 시뮬레이션에서 IFS를 seven-day window에서 능가하는 최초의 엔드투엔드 AI 기반 글로벌 기상 예측 시스템이다.

ABSTRACT

The weather forecasting system is important for science and society, and significant achievements have been made in applying artificial intelligence (AI) to medium-range weather forecasting. However, existing AI-based weather forecasting models rely on analysis or reanalysis products from traditional numerical weather prediction (NWP) systems as initial conditions for making predictions. The initial states are typically generated by traditional data assimilation components, which are computationally expensive and time-consuming. Here, by cyclic training to model the steady-state background error covariance and introducing the confidence matrix to characterize the quality of observations, we present an AI-based data assimilation model, i.e., Adas, for global weather variables. Further, we combine Adas with the advanced AI-based forecasting model (i.e., FengWu) to construct an end-to-end AI-based global weather forecasting system: FengWu-Adas. We demonstrate that Adas can assimilate global conventional observations to produce high-quality analysis, enabling the system to operate stably for long term. Moreover, the system can generate accurate end-to-end weather forecasts with comparable skill to those of the IFS, demonstrating the promising potential of data-driven approaches.

연구 동기 및 목표

• 전통적인 NWP 의존성 외에 완전히 AI 기반의 엔드투엔드 글로벌 기상 예측 시스템의 개발을 촉진한다.
• 희소 관측치를 처리하고 고품질 해석을 생성하는 AI 기반 데이터 동화 모듈 Adas를 제안한다.
• Adas가 FengWu와 결합되어 장기적 안정성을 갖춘 순환 예측-동화 프레임워크를 만들 수 있음을 보여준다.
• ERA5 기반의 기준값과 예측 역량을 비교하고 통합 예측 시스템(IFS)과의 예측 기술을 비교 평가한다.

제안 방법

• 배경과 희소 관측치에서 신뢰도 행렬을 사용해 해석을 생성하는 신경망 데이터 동화 모델 Adas를 도입한다.
• 희소 관측치를 처리하기 위해 게이트드 합성 모듈과 배경과 관측 간 상호작용을 포착하기 위한 게이트드 크로스 어텐션 모듈을 신뢰도 행렬에 의해 안내한다.
• 모든 입력을 통합 잠재 공간에 임베딩하고, 계층적 UNet 및 Transformer 블록으로 처리하며, 채널별 자동 가중치를 갖는 감독 학습 MAE/L1 손실을 적용한다.
• Adas가 생성한 해석을 FengWu의 초기 상태로 feeding하여 순환 예측-동화 루프를 형성하는 엔드투엔드 FengWu-Adas 시스템을 구성한다.
• 훈련 중 FengWu를 고정하고 ERA5 기반 시뮬레이션 관측으로 Adas를 학습시켜 안정성 및 동화 품질을 검증한다.
• RMSE 및 편향(bias) 지표로 ERA5를 기준으로 성능을 평가하고, 연간 순환 실험과 IFS에 대한 7일 다단계 예측을 포함한다.

실험 결과

연구 질문

• RQ1 AI 기반 데이터 동화 모델(Adas)이 글로벌 설정에서 AI 생성 배경과 희소 관측치로부터 고품질 해석을 생성할 수 있는가?
• RQ2 Adas를 AI 예측 모델(FengWu)과 통합하면 순환이 길어질 때도 안정적이고 IFS 같은 전통적 NWP 기준선보다 단기에서 중기 예측에 우수한 엔드투엔드 시스템을 얻을 수 있는가?
• RQ3 희소하고 노이즈가 많으며 임의로 위치한 관측치가 엔드투엔드 AI 예측 시스템의 동화 품질과 안정성에 어떤 영향을 미치는가?
• RQ4 ERA5 대비 서로 다른 상태(ERA5 vs 무작위) 및 관측 마스크로 초기화된 한 해의 순환 시뮬레이션에서 FengWu-Adas의 성능은 어떤가?
• RQ5 중간 기간 예측에서 AI 기반 동화가 ERA5 기준 벤치마크에 비해 배경 오차 및 바이어스 드리프트를 얼마나 줄일 수 있는가?

주요 결과

• Adas는 AI 생성 배경을 가진 시뮬레이션된 전지구 관측치를 동화하여 1년 순환 실행에서 안정적인 해석을 만들어낸다.
• 해석은 배경보다 일관되게 낮은 RMSE를 보이고 거의 제로에 가까운 편향을 유지하여 편향 드리프트 감소와 안정성 향상을 나타낸다.
• FengWu-Adas는 여러 변수에서 7일 예측에서 일관되게 IFS를 능가하며, 조기 예측 시 일부 변수에서 약 30%의 향상을 보인다.
• 시스템은 고정 마스크와 임의 마스크를 포함한 서로 다른 관측 패턴에 대해 강건하며, 좋지 않은 초기화에서도 몇 차례의 동화 단계만으로 회복 가능한 역량을 보인다.
• 얼리베이션 테스트는 희소 관측에서도 모델의 성능을 유지하고 해석 증가분이 배경 오차 패턴과 일치하며 관찰되지 않는 위치에서도 마찬가지임을 보여준다.