[논문 리뷰] Generative Data Assimilation of Sparse Weather Station Observations at Kilometer Scales

Peter Manshausen, Yair Cohen외 8명|arXiv (Cornell University)|2024. 06. 19.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

이 논문은 3km 해상도에서 희박한 기상관측소 관측자료를 위한 점수 기반 확산 모델을 제안하여 표면 바람 및 강수 필드의 빠르고 확장 가능하며 물리적으로 타당한 재구성 가능하게 한다. 훈련되지 않은 관측소에서 운영 체계인 HRRR 시스템 대비 10% 낮은 RMSE를 달성하여 재훈련 없이 저지연 km 스케일 앙상블 재분석을 위한 유망한 개념 증명을 보여준다.

ABSTRACT

Data assimilation of observational data into full atmospheric states is essential for weather forecast model initialization. Recently, methods for deep generative data assimilation have been proposed which allow for using new input data without retraining the model. They could also dramatically accelerate the costly data assimilation process used in operational regional weather models. Here, in a central US testbed, we demonstrate the viability of score-based data assimilation in the context of realistically complex km-scale weather. We train an unconditional diffusion model to generate snapshots of a state-of-the-art km-scale analysis product, the High Resolution Rapid Refresh. Then, using score-based data assimilation to incorporate sparse weather station data, the model produces maps of precipitation and surface winds. The generated fields display physically plausible structures, such as gust fronts, and sensitivity tests confirm learnt physics through multivariate relationships. Preliminary skill analysis shows the approach already outperforms a naive baseline of the High-Resolution Rapid Refresh system itself. By incorporating observations from 40 weather stations, 10% lower RMSEs on left-out stations are attained. Despite some lingering imperfections such as insufficiently disperse ensemble DA estimates, we find the results overall an encouraging proof of concept, and the first at km-scale. It is a ripe time to explore extensions that combine increasingly ambitious regional state generators with an increasing set of in situ, ground-based, and satellite remote sensing data streams.

연구 동기 및 목표

• 희박한 기상관측소 데이터를 이용하여 고해상도 대기 상태를 초기화하기 위한 확장 가능하고 저지연 방법을 개발하기.
• 점수 기반 확산 모델이 km 스케일 재분석 자료에서 물리적으로 타당한 대기 역학을 학습할 수 있는지 평가하기.
• 모델이 재훈련 없이 새로운 관측자료에 적응 가능하여 다양한 데이터 스트림의 융합을 위한 민첩한 융합을 가능하게 하는지 보여주기.
• 특히 강수 및 표면 바람 추정에서 운영 체계(예: HRRR) 기준과 비교하여 생성된 필드의 정확도를 평가하기.
• 복잡하고 계산 비용이 큰 자료 융합 파이프라인의 대체 수단으로 생성 모델의 잠재력을 탐색하기.

제안 방법

• 고해상도 빠른 재분석(HRRR) 재분석 데이터셋의 스냅샷을 사전 훈련하여 3km 해상도 표면 필드를 생성하는 확산 모델을 사용한다.
• 노이즈 제거 점수 함수를 이용해 희박한 기상관측소 관측자료에 조건을 부여하기 위해 점수 기반 자료 융합(SDA)을 적용한다.
• SDA 프레임워크는 노이즈 스케줄과 노이즈 제거 네트워크를 사용하여 관측 데이터와의 일관성 향상을 위해 반복적으로 생성 필드를 개선한다.
• 예측된 점수를 노이즈가 있는 데이터 분포의 진짜 점수와 일치시키기 위해 손실 함수를 최소화하도록 모델을 훈련한다.
• 관측 불확실성은 대각 행렬 $\sqrt{\Sigma_y}$를 통해 모델링되며, 값은 경험적으로 조정된다.
• 다양한 노이즈 제거 단계 수와 보정 반복 수를 지원하여 정확도와 속도 사이의 트레이드오프를 가능하게 한다.

Figure 1: Denoiser training and data assimilation with SDA. a) During the training of the denoiser, noise is added to the training data at different levels, parameterized by time $t\in[0,1]$ . The training objective for the denoiser $D$ is to reconstruct the training data, given the noisy state and

실험 결과

연구 질문

• RQ1 희박한 관측자료에 조건을 부여했을 때 재분석 자료에서 훈련된 확산 모델이 물리적으로 타당한 3km 해상도 표면 기상 필드를 생성할 수 있는가?
• RQ2 모델이 바람과 강수 간의 관계와 같이 대기역학과 일치하는 다변량 관계를 학습하는가?
• RQ3 재훈련 없이도 새로운 관측소에서 HRRR 운영 체계보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 노이즈 스케줄 및 보정 단계와 같은 하이퍼파rameter의 변화에 따라 모델 성능은 어떻게 변하는가?
• RQ5 이 프레임워크는 지상 기반 및 위성 데이터를 포함한 다양한 관측 스트림을 통합할 수 있는가?

주요 결과

• 모델은 바람 불어치 등과 같은 특징을 포함하여 3km 해상도에서 물리적으로 타당한 표면 바람 및 강수 필드를 성공적으로 생성한다.
• 감도 테스트를 통해 모델이 대기역학과 일치하는 다변량 관계를 포착하고 있음을 확인한다.
• 남은 기상관측소에서 모델은 운영 체계인 HRRR 시스템 대비 10% 낮은 RMSE를 달성하여 더 높은 정확도를 보여준다.
• 모델은 새로운 관측자료에 대해 강건하며 재훈련이 필요 없어 새로운 데이터 스트림에 빠르게 적응할 수 있다.
• 앙상블 분산에 일부 제한이 있음에도 불구하고, km 스케일에서 생성적 자료 융합의 첫 번째 성공적인 개념 증명을 제공한다.
• 하이퍼파ram터 튜닝 결과, 특히 강수 예측에서 $\Gamma$ (0.001)를 낮추고 노이즈 제거 단계를 늘일수록 성능 향상이 나타난다.

Figure 2: Assimilating increasingly sparse and noisy data. Columns show the different variables 10u, 10v, and tp for different study cases. In row one, we show HRRR data of 2017-05-28 03:00 UTC. Rows two and three show this data subsampled to 1.6% and 0.3%, respectively, in a regular grid (shown as