[논문 리뷰] Improving seasonal forecast using probabilistic deep learning

Baoxiang Pan, Gemma J. Anderson외 4명|arXiv (Cornell University)|2020. 10. 27.

Meteorological Phenomena and Simulations인용 수 8

한 줄 요약

이 논문은 대규모 기후 시뮬레이션 데이터를 기반으로 훈련된 확률적 딥러닝 모델, 특히 조건부 변분 오토인코더(CVAE)를 제안하여 연간 강수량과 기온 예측을 향상시킨다. 기존 시뮬레이션에서의 물리적 관계를 활용하고 변분 베이즈를 통해 예측 불확실성 정량화를 수행함으로써, 기존 최첨단 동역학 모델보다 더 뛰어난 결정론적 및 확률적 예측 능력을 확보하였으며, 시각화 분석을 통해 초기화 오차와 모델 구성 결함을 진단할 수 있다.

ABSTRACT

The path toward realizing the potential of seasonal forecasting and its socioeconomic benefits depends heavily on improving general circulation model based dynamical forecasting systems. To improve dynamical seasonal forecast, it is crucial to set up forecast benchmarks, and clarify forecast limitations posed by model initialization errors, formulation deficiencies, and internal climate variability. With huge cost in generating large forecast ensembles, and limited observations for forecast verification, the seasonal forecast benchmarking and diagnosing task proves challenging. In this study, we develop a probabilistic deep neural network model, drawing on a wealth of existing climate simulations to enhance seasonal forecast capability and forecast diagnosis. By leveraging complex physical relationships encoded in climate simulations, our probabilistic forecast model demonstrates favorable deterministic and probabilistic skill compared to state-of-the-art dynamical forecast systems in quasi-global seasonal forecast of precipitation and near-surface temperature. We apply this probabilistic forecast methodology to quantify the impacts of initialization errors and model formulation deficiencies in a dynamical seasonal forecasting system. We introduce the saliency analysis approach to efficiently identify the key predictors that influence seasonal variability. Furthermore, by explicitly modeling uncertainty using variational Bayes, we give a more definitive answer to how the El Nino/Southern Oscillation, the dominant mode of seasonal variability, modulates global seasonal predictability.

연구 동기 및 목표

• 모델 초기화 오차, 모델 구성 결함, 그리고 부족한 앙상블 샘플링으로 인한 연간 예측 한계를 해결하기 위해.
• 광범위한 기후 시뮬레이션 데이터를 활용하여 데이터 기반의 연간 예측 성능 기준을 수립하기 위해.
• 예측 정확도 향상과 해석 가능성 향상을 위한 확률적 딥러닝 프레임워크를 개발하기 위해.
• 초기화 오차와 모델 오류가 연간 예측 가능성에 미치는 영향을 진단하기 위해.
• 불확실성 인식 모델링을 통해 엘 니뇨/남반구 기복(ENSO)이 글로벌 연간 예측 가능성에 미치는 영향을 정량화하기 위해.

제안 방법

• 예측자와 연간 기후 변수 간의 복잡한 물리적 관계를 학습하기 위해, 다중 모델 기후 시뮬레이션 데이터를 기반으로 조건부 변분 오토인코더(CVAE)를 훈련한다.
• 예측 불확실성을 명시적으로 모델링하기 위해 변분 베이즈를 사용하여, 校정된 신뢰구간을 갖는 확률적 예측을 가능하게 한다.
• 연간 기후 변동성에 영향을 주는 주요 예측자를 식별하기 위해 시각화 분석을 적용하여 모델 예측의 해석 가능성을 향상시킨다.
• 표준 평가 지표인 정규화된 평균 제곱근 오차(NRMSE), 연속된 랭크 확률 기여도 점수(CRPSS), ROC 곡선 아래 면적(AUC)을 사용하여 예측 성능을 평가한다.
• 새로운 동역학 모델 실행이 필요 없이, 기존 기후 시뮬레이션을 '모델 세계'로 활용하여 딥러닝 모델을 훈련하고 검증한다.
• 예측 성능 평가를 위해 강수량과 지표면 기온의 준글로벌 연간 예측을 수행하였으며, NMME 동역학 앙상블 예측과 비교하였다.

실험 결과

연구 질문

• RQ1 기후 시뮬레이션 데이터를 기반으로 훈련된 딥러닝 모델이 결정론적 및 확률적 예측 능력에서 최첨단 동역학 연간 예측 시스템을 능가할 수 있는가?
• RQ2 초기화 오차와 모델 구성 결함이 예측 신뢰성에 미치는 영향은 무엇이며, 이는 모델을 통해 정량적으로 진단될 수 있는가?
• RQ3 연간 기후 변동성의 주요 원인 예측자는 무엇이며, 이들의 영향은 어떻게 설명 가능성 기법을 통해 식별할 수 있는가?
• RQ4 엘 니뇨/남반구 기복(ENSO)이 글로벌 연간 예측 가능성에 미치는 영향은 어느 정도이며, 이 영향의 불확실성은 어떻게 정량화할 수 있는가?
• RQ5 데이터 기반의 딥러닝 모델이 동역학 연간 예측 시스템의 평가 및 개선을 위한 신뢰할 수 있는 기준이 될 수 있는가?

주요 결과

• CVAE 모델은 NRMSE 및 CRPSS 등 다양한 지표에서 NMME 동역학 앙상블에 비해 뛰어난 결정론적 및 확률적 예측 능력을 보였다.
• 강수량의 경우 64%의 격자에서 CVAE 모델이 NMME 네 모델 앙상블보다 더 높은 연속된 랭크 확률 기여도 점수(CRPSS)를 기록하였으며, 기온의 경우 58%의 격자에서 유사한 결과를 보였다.
• 강수량 예측에서 CVAE 모델은 NMME 평균에 비해 28%의 격자에서 AUC 점수에서 유의미한 향상을 보였으며, 이는 분류 예측의 신뢰성 향상을 시사한다.
• 시각화 분석을 통해 ENSO 지표와 해수면 온도 이상과 같은 주요 예측자가 연간 변동성의 주요 원인으로 효과적으로 식별되었다.
• 모델는 ENSO가 글로벌 예측 가능성에 영향을 미치며, 특히 열대 및 태평양 지역에서 높은 불확실성을 포함하고 있음을 정량화하였다. 여기서 예측 신뢰성은 ENSO 단계에 따라 변동성이 있었다.
• 이 연구는 기후 시뮬레이션 데이터를 효과적으로 활용하여 기존 동역학 시스템을 능가하는 모델을 훈련시킬 수 있음을 확인하였으며, 추가적인 동역학 모델 실행 없이도 가능하다.