[논문 리뷰] Precipitation nowcasting with generative diffusion models

Andrea Asperti, Fabio Merizzi외 4명|arXiv (Cornell University)|2023. 08. 13.

Climate variability and models인용 수 13

한 줄 요약

이 논문은 DDIM 확산과 후처리 U-net을 사용한 Generative Diffusion Ensemble (GDE)를 도입하여 ERA-5 데이터에서 WF-UNet보다 개선된 성능을 달성하는 강수량 nowcasting을 제시한다. 이 연구는 2016–2020 데이터로 학습하고 15 확산 단계로 2021 데이터를 평가한다.

ABSTRACT

In recent years traditional numerical methods for accurate weather prediction have been increasingly challenged by deep learning methods. Numerous historical datasets used for short and medium-range weather forecasts are typically organized into a regular spatial grid structure. This arrangement closely resembles images: each weather variable can be visualized as a map or, when considering the temporal axis, as a video. Several classes of generative models, comprising Generative Adversarial Networks, Variational Autoencoders, or the recent Denoising Diffusion Models have largely proved their applicability to the next-frame prediction problem, and is thus natural to test their performance on the weather prediction benchmarks. Diffusion models are particularly appealing in this context, due to the intrinsically probabilistic nature of weather forecasting: what we are really interested to model is the probability distribution of weather indicators, whose expected value is the most likely prediction. In our study, we focus on a specific subset of the ERA-5 dataset, which includes hourly data pertaining to Central Europe from the years 2016 to 2021. Within this context, we examine the efficacy of diffusion models in handling the task of precipitation nowcasting. Our work is conducted in comparison to the performance of well-established U-Net models, as documented in the existing literature. Our proposed approach of Generative Ensemble Diffusion (GED) utilizes a diffusion model to generate a set of possible weather scenarios which are then amalgamated into a probable prediction via the use of a post-processing network. This approach, in comparison to recent deep learning models, substantially outperformed them in terms of overall performance.

연구 동기 및 목표

• 정규 격자 기상 데이터에서 확산 기반 생성 모델의 사용을 통한 확률적 강수량 nowcasting의 활용을 촉진한다.
• Generative Diffusion Ensemble (GDE)을 개발하여 여러 plausible 미래 강수장을 생성하고 이를 정확한 예측으로 집계한다.
• 확산 과정을 안내하기 위해 추가 기상 특징 및 조건화를 통합하여 단기 예측을 개선한다.
• ERA-5 데이터에서 WF-UNet와 같은 확립된 모델과 비교하여 확산 기반 예측의 성능이 개선되는 것을 입증한다.

제안 방법

• Denoising Diffusion Implicit Models (DDIM)을 핵심 디노이저로 사용하고 denoising U-net을 핵심 디노이저로 활용한다.
• 과거 기상 프레임과 보조 필드를 노이즈 입력에 연결하여 classifier-free 방식으로 조건부 학습으로 학습한다.
• 조건 정보는 채널 차원으로 통합된 과거 강수량, 바람 성분, 육지-바다 마스크, 지형고도(gopotential)로 정의한다.
• Generative Diffusion Ensemble (GED)를 채택하여 다수의 샘플을 생성하고 이를 평균화하거나 후처리 U-net에 입력해 최종 3시간 예측을 생성한다.
• 15개의 확산 출력(출력당 3시간 예측)을 받아 정제된 3시간 강수 예측을 출력하는 후처리 U-net을 구현한다.
• 확산 모델의 노이즈에 대해 MAE로 학습하고, 후처리 단계에는 MSE를 사용하며, 비정규화 후 MSE로 평가한다.
• denoiser를 위한 U-net의 크기를 [64, 128, 256, 384], 노이즈 분산의 사인 임베딩을 사용한다.

실험 결과

연구 질문

• RQ1 확률적 강수량 nowcasting를 결정론적 모델보다 생성적 확산 모델이 더 잘 포착할 수 있는가?
• RQ2 다중 확산 샘플의 평균화 또는 후처리 네트워크 사용이 nowcasting 정확도를 향상시키는가?
• RQ3 과거 기상 프레임 및 보조 필드에 대한 조건화가 확산 기반 nowcasting 성능에 어떤 영향을 미치는가?
• RQ4 제안된 GED 접근 방식이 ERA-5 기반 강수량 nowcasting에서 WF-UNet과 비교하여 어떤 차이가 있는가?
• RQ5 확산 스텝 수와 학습 설정이 성능과 안정성에 미치는 영향은 무엇인가?

주요 결과

• GED 접근 방식이 ERA-5 데이터셋의 강수량 nowcasting에서 WF-UNet보다 우수하다.
• 다중 확산 생성의 평균화는 단일 확산 샘플을 사용할 때보다 더 나은 예측을 제공한다.
• 확산 출력으로 학습된 후처리 U-net은 단순 평균화보다 예측 정확도를 더 향상시킨다.
• 연구는 2021 데이터에 대해 평가된 15단계 DDIM 확산 프로세스를 보고한다. 3시간 ahead forecasts.
• 학습 구성은 배치 크기 2, 40 에폭, AdamW 최적화, 확산 노이즈 예측에 MAE 손실, 이후 10에폭 미세조정으로 구성된다.