[논문 리뷰] DiffDA: a Diffusion Model for Weather-scale Data Assimilation

Langwen Huang, Lukas Gianinazzi외 3명|arXiv (Cornell University)|2024. 01. 11.

Meteorological Phenomena and Simulations인용 수 10

한 줄 요약

DiffDA는 GraphCast를 기반으로 한 디노이징 확산 모델을 사용해 예측 상태와 희박 관측치를 통해 고해상도 대기 데이터를 융합하고, 실시간에 가까운 재분석과 예보 준비 초기 조건을 최대 24시간의 예측 손실로 가능하게 한다.

ABSTRACT

The generation of initial conditions via accurate data assimilation is crucial for weather forecasting and climate modeling. We propose DiffDA as a denoising diffusion model capable of assimilating atmospheric variables using predicted states and sparse observations. Acknowledging the similarity between a weather forecast model and a denoising diffusion model dedicated to weather applications, we adapt the pretrained GraphCast neural network as the backbone of the diffusion model. Through experiments based on simulated observations from the ERA5 reanalysis dataset, our method can produce assimilated global atmospheric data consistent with observations at 0.25 deg (~30km) resolution globally. This marks the highest resolution achieved by ML data assimilation models. The experiments also show that the initial conditions assimilated from sparse observations (less than 0.96% of gridded data) and 48-hour forecast can be used for forecast models with a loss of lead time of at most 24 hours compared to initial conditions from state-of-the-art data assimilation in ERA5. This enables the application of the method to real-world applications, such as creating reanalysis datasets with autoregressive data assimilation.

연구 동기 및 목표

• 고해상도 대기 데이터를 다룰 수 있는 머신 러닝 기반 데이터 동화 방법을 시연한다.
• 확산 기반 동화기의 백본으로 사전 학습된 일기 예보 모델을 통합한다.
• 훈련 및 추론 중 예측 상태에 대한 조건 부여, 추론 시 희박 관측에 대한 조건 부여를 보여준다.
• ERA5와 호환되는 재분석 데이터 생성을 허용하는 자기회귀 데이터 동화를 원칙적으로 가능하게 한다.

제안 방법

• 데이터 동화를 위한 디노이징 확산 모델로 GraphCast를 적응시킨다.
• 훈련 및 추론 중 예측 상태 x̂에 대해 확산 모델의 조건화를 한다.
• 추론 시 희박 관측치를 소프트 마스킹 및 보간 전략을 사용하여 확산 과정의 조건화를 수행한다.
• 관측치가 이용 불가능한 경우를 대비한 후처리를 가능하게 하는 두 단계의 조건화 접근법을 사용한다.
• 역확산 단계를 통해 p(x^0 | x̂)를 학습하고 샘플링하는 확산 목표로 학습한다.
• GraphCast를 백본으로 사용하고 그 밖의 대체 예보 백본도 plug-in 할 수 있는 유연성을 제공한다.

Figure 1: Diagram of numerical weather forecast pipeline. It consists of data assimilation, forecast and post-processing. Data assimilation produces gridded values from sparse observations and predicted gridded values from previous time steps. Forecast takes in gridded values and produces prediction

실험 결과

연구 질문

• RQ1 확산 기반 모델이 예측 상태와 희박 관측치 모두에 조건화된 고해상도 대기장들을 동화할 수 있는가?
• RQ2 훈련 및 추론 중 예측 상태에 대한 조건화가 지상 진실에 대한 동화의 근접성에 도움이 되는가?
• RQ3 이 접근법이 재분석과 같은 데이터를 생성하고 예측 손실이 허용 가능한 수준에서 예측 준비 상태를 유지할 수 있는가?
• RQ4 자기회귀 데이터 동화와 다양한 관측치 양에 따라 방법은 어떻게 달라지는가?

주요 결과

• 관측 데이터가 많아질수록 동화된 데이터가 지상 진실에 수렴한다.
• 예보 모델의 입력으로 사용될 때, 동화된 데이터를 가진 48시간 예보 오차는 지상 참조 초기 조건을 사용할 때보다 최대 24시간의 예측 손실로 나타난다.
• 이 방법은 자기회귀 동화 주기로 재분석과 같은 데이터를 생성할 수 있게 한다.
• 훈련 및 추론 중 예측 상태에 대한 조건화는 추론 시 관측치가 없더라도 후처리 기능을 제공한다.
• 관측치에 대한 소프트 마스킹이 하드 마스킹보다 조건화 효과를 향상시킨다.
• GraphCast를 백본으로 사용하여 13개의 수직 레벨과 함께 0.25도 해상도로 확장 가능하다.

Figure 2: Architecture of the diffusion based data assimilation method. We take advantage of the input and output shape of the pretrained GraphCast model which takes the state of the atmosphere at two time steps as input. In each iteration of the denoising diffusion process in our method, the adapte