[논문 리뷰] SwinRDM: Integrate SwinRNN with Diffusion Model Towards High-Resolution and High-Quality Weather Forecasting

Lei Chen, Du Fei외 3명|arXiv (Cornell University)|2023. 01. 11.

Cryospheric studies and observations인용 수 10

한 줄 요약

SwinRDM는 고해상도(0.25°) 및 고품질 중기 예보를 달성하기 위해 개선된 SwinRNN+와 조건부 확산 기반 초해상도 모델을 결합한 데이터 기반 기상 예측 모델을 제안한다. 5일 예측 수준에서 주요 대기 변수(Z500, T850, T2M, TP)에서 운영 모델인 IFS를 능가하며, 고해상도에서 데이터 기반 모델의 새로운 SOTA를 수립한다.

ABSTRACT

Data-driven medium-range weather forecasting has attracted much attention in recent years. However, the forecasting accuracy at high resolution is unsatisfactory currently. Pursuing high-resolution and high-quality weather forecasting, we develop a data-driven model SwinRDM which integrates an improved version of SwinRNN with a diffusion model. SwinRDM performs predictions at $0.25^\circ$ resolution and achieves superior forecasting accuracy to IFS (Integrated Forecast System), the state-of-the-art operational NWP model, on representative atmospheric variables including 500 hPa geopotential (Z500), 850 hPa temperature (T850), 2-m temperature (T2M), and total precipitation (TP), at lead times of up to 5 days. We propose to leverage a two-step strategy to achieve high-resolution predictions at $0.25^\circ$ considering the trade-off between computation memory and forecasting accuracy. Recurrent predictions for future atmospheric fields are firstly performed at $1.40625^\circ$ resolution, and then a diffusion-based super-resolution model is leveraged to recover the high spatial resolution and finer-scale atmospheric details. SwinRDM pushes forward the performance and potential of data-driven models for a large margin towards operational applications.

연구 동기 및 목표

• 현재 모델이 성능을 발휘하지 못하는 0.25° 해상도에서 고해상도 데이터 기반 기상 예측의 격차를 메우기 위해.
• 특징 표현 및 집계를 향상시켜 저해상도 예측 정확도를 향상시키기 위해 SwinRNN 아키텍처를 개선하기 위해.
• 확산 모델을 활용한 초해상도를 통해 고해상도 대기 세부 정보를 얻는 계산 비용 효율적인 이단계 프레임워크를 개발하기 위해.
• 0.25° 해상도에서 중기 전 세계 기상 예측에서 최신 기술 수준(SOTA) 성능을 달성하여 운영형 NWP 모델인 IFS를 능가하기 위해.
• 소규모 대기 역학을 고해상도 출력을 통해 포착함으로써 토네이도, 태풍과 같은 극단 기상 현상을 정확하게 예측할 수 있도록 하기 위해.

제안 방법

• 다중 스케일 설계를 단일 스케일 아키텍처로 대체하고 특징 집합 레이어를 추가하여 특징 표현을 향상시킨 개선된 SwinRNN+ 버전을 제안한다.
• Z500, T850, T2M, TP와 같은 대기 변수의 초기 저해상도 예측을 생성하기 위해 1.40625° 해상도의 ERA5 데이터로 SwinRNN+를 훈련시킨다.
• SwinRNN+ 출력을 조건으로 하여 반복적으로 노이즈 제거하는 방식으로, 저해상도 예측을 0.25° 해상도 출력으로 개선하기 위해 조건부 확산 모델(기본 U-Net)을 적용한다.
• 노이즈 조건을 갖춘 U-Net 아키텍처를 사용하여 반복적인 노이즈 제거를 수행하고, 세밀한 대기 세부 정보를 포함한 사진 수준의 고해상도 예측을 생성한다.
• 확산 과정 동안 여러 개의 노이즈 벡터를 샘플링하여 앙상블 예측을 구현함으로써 불확실성 추정과 더 높은 강인성을 확보한다.
• 두 단계 전략을 통해 계산 비용과 예측 정확도의 균형을 이루며, 금방이 메모리 요구량이 막대하여 0.25° 데이터에 직접 훈련하는 것을 피한다.

실험 결과

연구 질문

• RQ1 개선된 SwinRNN 아키텍처는 운영 모델인 IFS 모델에 비해 1.40625° 해상도에서 더 높은 예측 정확도를 달성할 수 있는가?
• RQ2 직접 고해상도 훈련 없이도, 저해상도 예측에서 세밀한 대기 세부 정보를 확산 기반 초해상도 모델이 효과적으로 복원할 수 있는가?
• RQ3 저해상도 예측 + 확산 기반 초해상도의 이단계 프레임워크는 계산 가능성을 유지하면서도 0.25° 해상도에서 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?
• RQ4 태풍과 같은 극단 기상 현상을 예측할 때 공간 해상도와 추적 정확도 측면에서 모델의 성능은 어떠한가?
• RQ5 기존 방법(예: 이차 보간 또는 SwinIR)에 비해 확산 기반 초해상도 모델은 시각적 품질 및 정량적 지표(FID, CSI 등)에서 얼마나 향상되는가?

주요 결과

• SwinRNN+는 1.40625° 해상도에서 모든 주요 대기 변수(Z500, T850, T2M, TP)와 5일 예측 수준까지 IFS 모델을 능가하는 성능을 달성하며, Z500와 T850의 RMSE 점수는 각각 1.15와 1.76을 기록한다.
• SwinRDM*(10명성 앙상블)은 5일 예측 수준에서 IFS보다 Z500, T850, T2M, TP의 RMSE에서 각각 21, 0.27, 0.34, 0.53 단위 향상된 성능을 보였다.
• 모든 예측 수준에서 낮은 FID 점수(5일 기준 1.87/2.06)를 유지하여 높은 시각적 품질과 안정적인 세밀한 특징 생성 능력을 입증했다.
• 강수량에 대한 중요 성공 지수(CSI)에서 SwinIR 및 이차 보간보다 SwinRDM이 CSI2, CSI5, CSI10을 각각 6%, 11%, 10% 향상시키며, 고임계치(20mm, 50mm)에서도 유의미한 성능을 달성했다.
• 정성적 결과에서는 SwinRDM*이 5일 예측 수준에서 고정밀도 세부 정보를 포함한 슈퍼 태풍 망쿠트를 정확하게 예측하고 추적하는 데 성공했다.
• 복잡한 대기 역학, 특히 극단 기상 체계를 고해상도에서 강력한 일반화 능력과 강인성을 보이며 예측하는 데 성공했다.