[논문 리뷰] FengWu-4DVar: Coupling the Data-driven Weather Forecasting Model with 4D Variational Assimilation

Yi Xiao, Lei Bai외 4명|arXiv (Cornell University)|2023. 12. 16.

Meteorological Phenomena and Simulations인용 수 12

한 줄 요약

이 논문은 데이터 기반의 FengWu 예보 모델을 4DVar 데이터 동화와 자동 미분으로 연결하여 수동 adjoint 모델 없이 AI 기반 순환 예보를 가능하게 하고 시뮬레이션 관측으로 안정적이고 정확한 분석을 보인다.

ABSTRACT

Weather forecasting is a crucial yet highly challenging task. With the maturity of Artificial Intelligence (AI), the emergence of data-driven weather forecasting models has opened up a new paradigm for the development of weather forecasting systems. Despite the significant successes that have been achieved (e.g., surpassing advanced traditional physical models for global medium-range forecasting), existing data-driven weather forecasting models still rely on the analysis fields generated by the traditional assimilation and forecasting system, which hampers the significance of data-driven weather forecasting models regarding both computational cost and forecasting accuracy. In this work, we explore the possibility of coupling the data-driven weather forecasting model with data assimilation by integrating the global AI weather forecasting model, FengWu, with one of the most popular assimilation algorithms, Four-Dimensional Variational (4DVar) assimilation, and develop an AI-based cyclic weather forecasting system, FengWu-4DVar. FengWu-4DVar can incorporate observational data into the data-driven weather forecasting model and consider the temporal evolution of atmospheric dynamics to obtain accurate analysis fields for making predictions in a cycling manner without the help of physical models. Owning to the auto-differentiation ability of deep learning models, FengWu-4DVar eliminates the need of developing the cumbersome adjoint model, which is usually required in the traditional implementation of the 4DVar algorithm. Experiments on the simulated observational dataset demonstrate that FengWu-4DVar is capable of generating reasonable analysis fields for making accurate and efficient iterative predictions.

연구 동기 및 목표

• 데이터 기반 예보 시스템에서 초기화 시 물리적 예보 모델에 대한 의존성을 제거하자는 동기를 제시한다.
• FengWu를 4DVar 동화와 결합하여 순환 AI 예보 프레임워크 FengWu-4DVar를 제안한다.
• 수동으로 작성된 adjoint 모델을 4DVar 파이프라인에서 대체할 수 있도록 자동 미분이 가능하다는 것을 보여준다.
• 시간적 집계 및 모델 오차 고려가 동화 정확도와 효율성을 향상시킨다를 보여준다.

제안 방법

• AI 전방 모델 M을 사용하여 백그라운드 x^b와 관측 시퀀스 {yτ}를 이용해 4DVar 목적함수 J(x0)를 형식화한다.
• Explicit adjoint models 없이 자동 미분으로 ∂J/∂x0를 계산하고 L-BFGS로 최적화한다.
• M1, M3 (및 M6)을 사용하여 동화 창을 위한 xτ를 계산하는 시간적 집계 전략을 도입한다.
• 운영 관행에 맞추어 6시간 동화 창과 1시간 관측 간격을 채택한다.
• 동화에서 AI 모델 오차를 반영하기 위해 목적함수에 모델 오차 공분산 Qτ를 추가한다.
• M t→t+T를 통해 백그라운드 필드를 업데이트하고 4DVar를 통해 재초기화하는 순환 예보를 구현한다.

실험 결과

연구 질문

• RQ1 AI 기반 글로벌 기상 예보 모델을 4DVar 동화와 효과적으로 결합하여 자체 포함된 순환 예보를 정확하게 생성할 수 있는가?
• RQ2 AI 대리모를 사용할 때 4DVar에서 수동으로 작성된 adjoint 모델의 필요성을 자동 미분이 제거하는가?
• RQ3 시간적 집계(1-, 3-, 6시간 간격)가 단일 단계 적분에 비해 동화 정확도와 안정성을 향상시키는가?
• RQ4 현실적 시뮬레이션 데이터에서 FengWu-4DVar의 계산 비용과 안정성 특성은 어떠한가?

주요 결과

• FengWu-4DVar는 15% 관측 커버리지를 가진 시뮬레이션 관측을 사용하여 1년 동안 안정적인 순환 예보를 산출한다.
• 백그라운드 필드에 비해 분석장 RMSE와 바이어스가 모든 보고된 변수에서 감소한다; 예를 들어 t500 RMSE가 ~0.48 K(배경)에서 ~0.41 K(분석)로 떨어진다.
• z500, t500, u500, v500의 분석 필드가 각각 약 30 m^2/s^2, 0.4 K, 1.41 m/s, 1.39 m/s의 RMSE로 수렴한다.
• 단일 Nvidia A100 GPU에서 자동 미분을 포함한 엔드 투 엔드 동화는 6시간 창당 약 29.3초에 실행된다.
• 자동 미분이 전통적 adjoint 기반 그래디언트 계산과 등가임이 보조집에서 확립되고 검증된다.
• 목적에 모델 오차 분산 Qτ를 포함시키면 AI 대리 모델 오차를 고려해 동화를 개선한다.