[논문 리뷰] SwinVRNN: A Data-Driven Ensemble Forecasting Model via Learned Distribution Perturbation

Yuan Hu, Lei Chen외 2명|arXiv (Cornell University)|2022. 05. 26.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

SwinVRNN는 데이터 기반의 확률적 기상 예측 모델로, 스위니 트랜스포머 기반 순환 신경망(SwinRNN)과 변분 추론 기반의 교란 모듈을 조합하여 다변량 정규 분포를 공간적으로 적응형으로 학습하여 앙상블 예측을 수행한다. WeatherBench에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 5일 이내의 모든 예측 시간에서 운영 중인 ECMWF IFS 모델을 초월하여 2m 기온과 6시간 간격의 강수량 예측 정확도를 향상시켰다.

ABSTRACT

Data-driven approaches for medium-range weather forecasting are recently shown extraordinarily promising for ensemble forecasting for their fast inference speed compared to traditional numerical weather prediction (NWP) models, but their forecast accuracy can hardly match the state-of-the-art operational ECMWF Integrated Forecasting System (IFS) model. Previous data-driven attempts achieve ensemble forecast using some simple perturbation methods, like initial condition perturbation and Monte Carlo dropout. However, they mostly suffer unsatisfactory ensemble performance, which is arguably attributed to the sub-optimal ways of applying perturbation. We propose a Swin Transformer-based Variational Recurrent Neural Network (SwinVRNN), which is a stochastic weather forecasting model combining a SwinRNN predictor with a perturbation module. SwinRNN is designed as a Swin Transformer-based recurrent neural network, which predicts future states deterministically. Furthermore, to model the stochasticity in prediction, we design a perturbation module following the Variational Auto-Encoder paradigm to learn multivariate Gaussian distributions of a time-variant stochastic latent variable from data. Ensemble forecasting can be easily achieved by perturbing the model features leveraging noise sampled from the learned distribution. We also compare four categories of perturbation methods for ensemble forecasting, i.e. fixed distribution perturbation, learned distribution perturbation, MC dropout, and multi model ensemble. Comparisons on WeatherBench dataset show the learned distribution perturbation method using our SwinVRNN model achieves superior forecast accuracy and reasonable ensemble spread due to joint optimization of the two targets. More notably, SwinVRNN surpasses operational IFS on surface variables of 2-m temperature and 6-hourly total precipitation at all lead times up to five days.

연구 동기 및 목표

• 기존 데이터 기반 기상 예측 모델의 앙상블 성능이 부적절한 고정 또는 히وري스틱 교란 방법에 의존하는 문제를 해결하기 위해.
• 종단간 훈련을 통해 결정론적 예측과 불확실성 정량화를 동시에 최적화하는 확률적 기상 예측 모델을 개발하기 위해.
• 학습된 공간 적응형 교란이 고정된 분포 또는 몬테카를로 드롭아웃 방법에 비해 앙상블 분산과 예측 정확도를 향상시키는지 조사하기 위해.
• 단일 딥러닝 모델에 변분 교란 모듈을 통합하여, ECMWF IFS와 같은 운영 중인 수치기상예보(NWP) 시스템을 키워드 표면 변수의 정확도에서 뛰어넘을 수 있음을 입증하기 위해.

제안 방법

• 모델는 스위니 트랜스포머 블록 기반의 SwinRNN 기반 백본을 사용하며, 다중 척도 디코더와 잔차 예측을 통해 장거리 시간-공간 모델링을 가능하게 한다.
• 변분 오토에인코더(VAE)를 영감으로 받은 교란 모듈은 이전 데이터로부터 시간에 따라 변화하는 다변량 정규 분포를 스위치 잠재 변수에 대해 학습한다.
• 앙상블 예측은 추론 시점에 학습된 잠재 분포에서 노이즈를 샘플링하고, 이를 SwinRNN의 은닉 특징에 주입함으로써 생성된다.
• 네 가지 교란 전략을 비교한다: 고정된 분포(표준 정규분포), 학습된 분포(SwinVRNN), 몬테카를로 드롭아웃, 다중 모델 앙상블.
• 교란 모듈은 재구성 손실과 KL 발산을 동시에 최적화하여 정확한 예측과 의미 있는 불확실성 표현을 보장한다.
• 모델는 표준 중기 기상 예측 평가 지표를 사용하여 WeatherBench 데이터셋에서 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 학습된 공간 적응형 교란 전략을 갖춘 데이터 기반 모델이 고정된 분포나 몬테카를로 드롭아웃 방법에 비해 앙상블 예측 정확도에서 뛰어나게 되는가?
• RQ2 결정론적 예측과 확률적 불확실성 모델링을 동시에 최적화하면 더 나은 예측 기술과 더 신뢰할 수 있는 앙상블 분산이 달성되는가?
• RQ3 변분 교란 모듈을 갖춘 단일 딥러닝 모델이 핵심 표면 변수의 예측 정확도에서 운영 중인 ECMWF IFS 모델을 뛰어넘을 수 있는가?
• RQ4 학습된 교란 분포에 공간 공분산을 포함할 경우, 등방성 또는 대각선 노이즈에 비해 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 예측과 불확실성 모델링의 공동 최적화 덕분에 SwinVRNN은 고정된 분포나 몬테카를로 드롭아웃 방법에 비해 뛰어난 예측 정확도와 더 자연스러운 앙상블 분산을 달성하였다.
• 학습된 분포 기반 교란 방법은 특히 다양한 지역과 변수에서Atmospheric 불확실성의 공간적 변동성을 더 잘 포착함으로써 앙상블 성능을 크게 향상시켰다.
• SwinVRNN은 5일 이내의 모든 예측 시간에서 2m 기온(T2M)과 6시간 간격의 총 강수량(TP) 예측에서 운영 중인 ECMWF IFS 모델을 초월하였다.
• SwinVRNN의 다중 모델 앙상블은 추가로 예측 기술을 향상시켰으며, 이는 이 접근법의 확장 가능성을 보여주었다.
• 모델은 훈련 기간 내외를 포함한 모든 평가 예측 시간에서 일관된 향상을 보였으며, 이는 강력한 일반화 능력을 시사한다.
• 교란 모듈은 학습된 공분산 행렬의 구조와 성능 향상으로 인해 대기 변수 간의 복잡한 공간 상관관계를 효과적으로 모델링하고 있음을 입증하였다.