[논문 리뷰] Generative ensemble deep learning severe weather prediction from a deterministic convection-allowing model

Yingkai Sha, Ryan A. Sobash외 1명|arXiv (Cornell University)|2023. 10. 09.

Meteorological Phenomena and SimulationsEarth and Planetary Sciences인용 수 3

한 줄 요약

이 논문은 확률적 극한 기상 예측을 위한 결정론적 대류 허용 모델(CAM) 출력에서 합성 앙상블 예보를 생성하기 위해 조건부 생성 적대적 네트워크(CGANs)와 합성곱 신경망(CNN)을 조합한 새로운 딥러닝 프레임워크를 제안한다. 이 방법은 기준 모델 대비 Brier 스킬 스코어(BSS)에서 최대 20% 향상시키며, 신뢰할 수 있는 앙상블 분산을 생성하여 예측 불확실성의 정량화를 향상시킨다.

ABSTRACT

An ensemble post-processing method is developed for the probabilistic prediction of severe weather (tornadoes, hail, and wind gusts) over the conterminous United States (CONUS). The method combines conditional generative adversarial networks (CGANs), a type of deep generative model, with a convolutional neural network (CNN) to post-process convection-allowing model (CAM) forecasts. The CGANs are designed to create synthetic ensemble members from deterministic CAM forecasts, and their outputs are processed by the CNN to estimate the probability of severe weather. The method is tested using High-Resolution Rapid Refresh (HRRR) 1--24 hr forecasts as inputs and Storm Prediction Center (SPC) severe weather reports as targets. The method produced skillful predictions with up to 20% Brier Skill Score (BSS) increases compared to other neural-network-based reference methods using a testing dataset of HRRR forecasts in 2021. For the evaluation of uncertainty quantification, the method is overconfident but produces meaningful ensemble spreads that can distinguish good and bad forecasts. The quality of CGAN outputs is also evaluated. Results show that the CGAN outputs behave similarly to a numerical ensemble; they preserved the inter-variable correlations and the contribution of influential predictors as in the original HRRR forecasts. This work provides a novel approach to post-process CAM output using neural networks that can be applied to severe weather prediction.

연구 동기 및 목표

• 결정론적 CAM 예보로부터 확률적 극한 기상 예측을 향상시키는 후처리 방법을 개발하는 것.
• 대류 허용 모델에서 앙상블 크기가 제한된 문제를 해결하기 위해 딥 생성 모델을 활용해 합성 앙상블 구성원을 생성하는 것.
• 하이브리드 딥러닝 접근법을 통해 토네이도, hail, 강풍 등에 대한 예측 정확도와 예측 불확실성 정량화를 향상시키는 것.
• CGAN으로 생성된 예보가 핵심 기상학적 관계와 예측자 중요도를 유지하는지 평가하는 것.
• 조건부 생성 모델을 대규모 수치 앙상블의 확장 가능한 대안으로 사용할 수 있는지 입증하는 것.

제안 방법

• 결정론적 고해상도 빠른 재시작(HRRR) 예보에서 합성 앙상블 구성원을 생성하기 위해 조건부 생성 적대적 네트워크(CGAN)를 훈련한다.
• CGAN의 출력은 합성곱 신경망(CNN) 분류기로 처리되어 극한 기상 사건의 격점 확률을 추정한다.
• 불확실성 정량화 및 앙상블 학습을 위해 CNN 내부에 몬테카를로 드롭아웃을 적용한다.
• 모델은 HRRRv4 예보(1–24시간 예측 시간)를 대상으로 훈련 및 테스트하고, 2021년 스톰 예측 센터(SPC)의 극한 기상 보고서를 기준으로 검증한다.
• 이전 연구에서 사용된 업스케일링이 필요 없는, 원본 모델 격자에 직접 작용하는 방식이다.
• 모델 성능 평가에는 Brier 스킬 스코어(BSS), 스프레드-스킬 신뢰성, 기각 테스트를 사용하며, 패턴 상관관계 및 순열 특성 중요도 분석도 추가로 실시한다.

Figure 1: The 3-km grid spacing HRRR domain with shaded elevation. (b) The 80-km grid spacing CONUS domain with grid-point-wise severe weather climatological probabilities. (c) An example of a CONUS domain grid cell and its surrounding 64-by-64 HRRR cells. The locations and boundaries of grid cells

실험 결과

연구 질문

• RQ1 CGAN 기반 방법은 결정론적 CAM 출력에서 확률적 극한 기상 예측을 향상시키는 합성 앙상블 예보를 생성할 수 있는가?
• RQ2 CGAN-CNN 프레임워크의 예측 정확도는 생성 앙상블 없이 작동하는 기준 신경망 방법 대비 어떻게 비교되는가?
• RQ3 CGAN로 생성된 예보는 원본 HRRR 예보와 비교해 상관관계 및 핵심 예측자 영향력을 어느 정도 유지하는가?
• RQ4 CGAN 출력에서 유도된 앙상블 분산은 예측 불확실성을 얼마나 잘 정량화하는가? 그리고 신뢰할 수 있는 예보와 신뢰할 수 없는 예보를 구분할 수 있는가?
• RQ5 CGAN로 생성된 앙상블은 극한 기상 확률 예보의 해상도와 신뢰성을 모두 향상시킬 수 있는가?

주요 결과

• CGAN-CNN 프레임워크는 기준 모델 대비 최대 20% 향상된 Brier 스킬 스코어(BSS)를 기록했으며, 단기 예측 시간에는 0.2의 BSS, 장기 예측 시간에는 약 0.1의 BSS를 기록했다.
• BSS 향상은 주로 극한 기상 빈도가 높은 동북부 미국과 대평원 지역에서 가장 두드러졌다.
• 공간 분석 결과, CGAN 앙상블은 검증된 극한 기상 사례에서 더 높은 확률을 제공함으로써 더 높은 해상도를 확보했다.
• CGAN 앙상블는 스프레드-스킬 신뢰성에서 기준 모델보다 뛰어난 성능을 보였고, 기각 테스트에서도 우수한 성능을 보여, 좋은 예보와 나쁜 예보를 더 잘 구분함을 시사했다.
• 패턴 상관관계 측정 결과, CGAN 출력은 원본 HRRR 예보와 유사한 수준의 상관관계를 유지하며 대류 세포의 위치도 잘 보존했다.
• 순열 특성 중요도 분석 결과, CGAN로 생성된 예측자들은 HRRR 기반 예측자들과 동일한 상대적 중요도를 유지함을 확인했으며, 이는 일관된 예측 구조를 유지함을 뒷받침한다.

Figure 2: Technical steps of the CGAN ensemble (a), CNN ensemble (b), and MLP ensemble (c).