[논문 리뷰] Latent diffusion models for generative precipitation nowcasting with accurate uncertainty quantification

Jussi Leinonen, Ulrich Hamann외 3명|arXiv (Cornell University)|2023. 04. 25.

Precipitation Measurement and Analysis인용 수 25

한 줄 요약

본 논문은 앙상블 강수 예보(nowcasting)를 위한 잠재 확산 모델 LDCast를 제시하며, 정확한 불확실성 정량화와 다양한 예측을 제공하고, CRPS에서 데이터셋 전반에 걸쳐 DGMR 및 PySTEPS를 능가한다.

ABSTRACT

Diffusion models have been widely adopted in image generation, producing higher-quality and more diverse samples than generative adversarial networks (GANs). We introduce a latent diffusion model (LDM) for precipitation nowcasting - short-term forecasting based on the latest observational data. The LDM is more stable and requires less computation to train than GANs, albeit with more computationally expensive generation. We benchmark it against the GAN-based Deep Generative Models of Rainfall (DGMR) and a statistical model, PySTEPS. The LDM produces more accurate precipitation predictions, while the comparisons are more mixed when predicting whether the precipitation exceeds predefined thresholds. The clearest advantage of the LDM is that it generates more diverse predictions than DGMR or PySTEPS. Rank distribution tests indicate that the distribution of samples from the LDM accurately reflects the uncertainty of the predictions. Thus, LDMs are promising for any applications where uncertainty quantification is important, such as weather and climate.

연구 동기 및 목표

• 단기 강수 예보(nowcasting)의 필요성과 하류 수문학 응용에서 현실적인 불확실성 정량화의 필요성을 제시한다.
• 학습 안정성과 효율성을 개선하기 위해 잠재 공간에서 작동하는 잠재 확산 모델(LDM)을 기반으로 한 nowcasting 시스템(LDCast)을 개발한다.
• 예측 불확실성을 포착하기 위한 앙상블 예측 생성을 가능하게 하고 기존 방법과 비교한다.
• 도메인 내 스위스 데이터와 도메인 외 독일 데이터에서의 강건성과 일반화 가능성을 입증한다.

제안 방법

• AFNO를 기반으로 한 시간적 크로스-어텐션을 갖춘 예보기 스택, 3D 컨볼루션 디노이저, 그리고 픽셀 공간과 잠재 공간 간 매핑을 위한 변분 오토인코더(VAE)로 구성된 조건부 잠재 확산 모델 LDCast를 제안한다.
• 과거 강수를 조건으로 32개의 앙상블 구성원을 생성하기 위해 PLMS 기반의 반복 샘플러(50단계)를 사용한다.
• VAE를 먼저 학습하고, 그다음 확산 프레임워크에서 L2 손실로 예보기와 디노이저를 함께 학습한다.
• 상대 오차를 강조하기 위해 강수량에 로그 변환을 적용하고 인공물을 완화하기 위해 가우시안 안티앨리어싱을 적용한다.
• CRPS, LogCRPS, 순위 분포, Fractions Skill Score (FSS)을 사용하여 스위스 레이더 기반 데이터(학습 도메인)와 독일 레이더 데이터(도메인 외)를 평가한다.
• DGMR(조건부 GAN) 및 PySTEPS(통계적 nowcasting)와 비교한다.

실험 결과

연구 질문

• RQ1 잠재 확산 모델이 최근 레이더 관측으로부터 다양한 현실적인 강수 앙상블 nowcast를 안정적으로 생성할 수 있는가?
• RQ2 LDCast가 GAN 기반 및 통계적 기준선에 비해 불확실성 정량화(예: 균일에 가까운 순위 분포)가 향상되는가?
• RQ3 다양한 공간 규모와 예측 기간에서 정확도(CRPS)와 사건 기반 기술(FSS)이 어떤가? 도메인 외 데이터 포함.

주요 결과

• LDCast는 스위스 및 독일 데이터세트 전반에서 CRPS에서 DGMR 및 PySTEPS를 능가하며, 예측 시간이 길어질수록 및 더 큰 스케일에서 평균화할 때 향상이 더 크다.
• DGMR은 과도하게 자신감 있는 앙상블을 생성하고 다양성이 적은 반면, LDCast는 보다 다양한 예보를 산출한다.
• LDCast의 순위 분포가 이상적 균일 분포에 가장 근접해 더 현실적인 불확실성 표현을 보여주며 (균일로부터의 KL 발산이 더 작음).
• 임계치 초과 기술에 대한 FSS 결과는 혼합된 개선을 보이며; LDCast는 스위스 데이터에서 DGMR과 경쟁적이고 일반적으로 PySTEPS보다 낫지만 독일 데이터 세트에서 지역별 차이가 있다.
• LDCast는 상당하지만 실행 가능한 학습 시간이 필요하다(128x128의 경우 8개의 Nvidia V100 GPU에서 약 53시간, 256x256으로 미세조정 시 약 5시간) 및 GPU에서 하나의 앙상블 멤버를 샘플링하는 데 약 19초가 걸리며, 학습 효율성과 생성 비용 간의 트레이드를 강조한다.
• 도메인 내 스위스 데이터는 도메인 외 독일 데이터보다 더 강한 CRPS 및 FSS 이점을 보이며, 불확실성 정량화는 도메인 간에 견고하게 유지된다.