[논문 리뷰] Weather Prediction with Diffusion Guided by Realistic Forecast Processes

Zhanxiang Hua, Yutong He외 2명|arXiv (Cornell University)|2024. 02. 06.

Hydrological Forecasting Using AI인용 수 6

한 줄 요약

이 논문은 직접 및 반복 예측을 지원하고 재훈련 없이 NWP, 지속 추정, 기후학 지침을 통합할 수 있는 조건부 확산 모델을 제시합니다.

ABSTRACT

Weather forecasting remains a crucial yet challenging domain, where recently developed models based on deep learning (DL) have approached the performance of traditional numerical weather prediction (NWP) models. However, these DL models, often complex and resource-intensive, face limitations in flexibility post-training and in incorporating NWP predictions, leading to reliability concerns due to potential unphysical predictions. In response, we introduce a novel method that applies diffusion models (DM) for weather forecasting. In particular, our method can achieve both direct and iterative forecasting with the same modeling framework. Our model is not only capable of generating forecasts independently but also uniquely allows for the integration of NWP predictions, even with varying lead times, during its sampling process. The flexibility and controllability of our model empowers a more trustworthy DL system for the general weather community. Additionally, incorporating persistence and climatology data further enhances our model's long-term forecasting stability. Our empirical findings demonstrate the feasibility and generalizability of this approach, suggesting a promising direction for future, more sophisticated diffusion models without the need for retraining.

연구 동기 및 목표

• 확산 모델(DM)을 기상 예측에 활용하려는 동기를 제시하고, 딥러닝 모델의 신뢰성과 유연성 한계를 해결한다.
• 단일 조건부 확산 모델 내에서 직접 예측과 반복 예측을 통합하는 통일 프레임워크를 개발한다.
• 샘플링 중 NWP, 지속, 기후학 지침을 통합하여 재훈련 없이 현실성과 신뢰성을 향상시킨다.
• 선행 관측 및 일정한 지구 물리적 특징을 입력으로 취급하고 lead time을 클래스 라벨로 다룬다.
• 저자원, 유연한 예측과 경쟁력 있는 성능의 가능성을 시연한다.

제안 방법

• 비기상 상수들, 선행 관측 및 목표 lead time을 입력으로 받는 조건부 확산 과정을 모델링한다.
• lead time K를 클래스 라벨로 다루고 분류기-없는 가이던스(classifier-free guidance)를 사용하여 선행 분포와 후분포를 모두 학습한다.
• SDEdit 스타일의 가이던스를 사용해 확산 샘플링 중 입력 예측을 주입해 신뢰성과 현실성의 균형을 맞춘다.
• 효율적 추론을 위한 DDIM 샘플링과 그래야 확산 목적과 위도 가중 MSE 손실이 있는 확산 목표를 사용한다.
• 최근 역사에 주어진 조건부 독립성 가정으로 단일 프레임워크 내에서 직접 예측과 반복 예측을 결합한다.
• 재훈련 없이 유연한 지침을 가능하게 하기 위해 무조건적 분포와 조건부 분포를 모두 통합한다.

Figure 1: Illustration of the proposed three types of guidance that are relevant to weather forecasting using diffusion models. Our model is capable of incorporating all three types of guidance to facilitate more realistic weather forecasting with diffusion models.

실험 결과

연구 질문

• RQ1 단일 조건부 확산 모델이 직접 예측과 반복 예측을 모두 지원할 수 있는가?
• RQ2 NWP, 지속, 기후학 지침을 재훈련 없이 확산 기반 예측에 어떻게 통합할 수 있는가?
• RQ3 선행 관측 및 일정한 지구 물리 변수의 도입이 장기 예측의 안정성과 현실성 향상에 기여하는가?
• RQ4 지침 강도와 샘플링 단계가 예측 정확도와 신뢰성에 미치는 영향은 무엇인가?
• RQ5 확산 기반 접근이 단기-중기 예보에서 기존 벤치마크와 어떻게 비교되는가?

주요 결과

• DM 직접 예측 및 DM 반복 예측은 Z500 및 T850 필드의 RMSE에서 6–7일 범위까지 지속 예측 및 주간 기후와 비교 벤치마크를 능가한다.
• DM 직접이 장기 예측에서 DM 반복보다 약간 우수한 반면, DM 반복은 초기 예보에서 더 나을 수 있다.
• DM 모델은 주간 기후와 비교 가능한 ACC 점수와 특정 범위에서 T42와 경쟁력 있는 성능을 보이며, 계산 비용이 유리하다.
• NWP(T42, T63), 지속, 기후학을 통한 지침은 특히 샘플링 중 지침 교란을 조정할 때 예보 기술을 향상시킨다.
• SDEdit 스타일의 지침은 재훈련 없이 신뢰도 설정을 유연하게 하여 신뢰받는 예측과 더 넓은 탐색 사이에서 강한 정렬을 가능하게 한다.
• 이 작업에 대한 최적 DDIM 샘플링 단계는 상대적으로 작고(약 12) 분류-없는 가이던스 가중치가 낮을수록 성능 유지를 돕는다.

Figure 2: The overall diffusion model network architecture.