[논문 리뷰] A new paradigm for medium-range severe weather forecasts: probabilistic random forest-based predictions

Aaron J. Hill, Russ S. Schumacher외 1명|arXiv (Cornell University)|2022. 08. 03.

Meteorological Phenomena and Simulations인용 수 15

한 줄 요약

이 논문은 GEFSv12 Reforecast 데이터셋의 역사적 극성 날씨 보고서와 함께 중기(4~8일) 극성 날씨 예측을 생성하기 위해 확률적 랜덤 포레스트(RF) 모델을 도입한다. 모델은 4~5일 차에 인간이 작성한 SPC 전망과 유사한 성능을 보이며, 낮은 임계값에서 잘 校정된 확률을 제공하여 기계 학습이 운영 중기 극성 날씨 지침을 향상시키는 데서 가치가 있음을 보여준다.

ABSTRACT

Historical observations of severe weather and simulated severe weather environments (i.e., features) from the Global Ensemble Forecast System v12 (GEFSv12) Reforecast Dataset (GEFS/R) are used in conjunction to train and test random forest (RF) machine learning (ML) models to probabilistically forecast severe weather out to days 4--8. RFs are trained with 9 years of the GEFS/R and severe weather reports to establish statistical relationships. Feature engineering is briefly explored to examine alternative methods for gathering features around observed events, including simplifying features using spatial averaging and increasing the GEFS/R ensemble size with time-lagging. Validated RF models are tested with ~1.5 years of real-time forecast output from the operational GEFSv12 ensemble and are evaluated alongside expert human-generated outlooks from the Storm Prediction Center (SPC). Both RF-based forecasts and SPC outlooks are skillful with respect to climatology at days 4 and 5 with degrading skill thereafter. The RF-based forecasts exhibit tendencies to underforecast severe weather events, but they tend to be well-calibrated at lower probability thresholds. Spatially averaging predictors during RF training allows for prior-day thermodynamic and kinematic environments to generate skillful forecasts, while time-lagging acts to expand the forecast areas, increasing resolution but decreasing objective skill. The results highlight the utility of ML-generated products to aid SPC forecast operations into the medium range.

연구 동기 및 목표

• 기후학적 특성과 역사적 극성 날씨 보고서 사이의 통계적 관계를 활용하여 중기 극성 날씨 위협(4~8일)에 대한 기계 학습 기반 예측 시스템을 개발한다.
• 재예측 데이터 기반으로 훈련된 랜덤 포레스트 모델이 전통적인 운영 전망보다 우수하거나 보완이 되는 기민한 확률 예측을 생성할 수 있는지 평가한다.
• 공간 평균화 및 시간 지연과 같은 특징 공 ing 기법이 예측 성능과 校정에 미치는 영향을 평가한다.
• 스톰 예측 센터(SPC)의 현장 예보사들이 예측의 사전성과 일관성을 높이기 위해 ML 기반 지침을 어떻게 활용할 수 있는지 탐색한다.
• 순열 중요도 및 SHAP 값과 같은 기법을 통해 ML 모델의 해석 가능성을 향상시켜 운영 워크플로우에의 신뢰도 향상과 통합을 도모한다.

제안 방법

• GEFSv12 재예측 데이터셋(GEFS/R)과 역사를 기반으로 한 극성 날씨 보고서를 약 9년간 사용하여 대기 특성과 극성 날씨 발생 사이의 통계적 관계를 학습하는 랜덤 포레스트(RF) 모델을 훈련한다.
• 예측 변수의 공간 평균화를 훈련 중에 적용하여 이전 날의 열역학적 및 운동학적 환경을 반영함으로써 성능을 향상시킨다.
• 시간 지연 기법을 적용하여 예측 커버리지와 해상도를 확장하고 시간이 지남에 따라 효과적인 앙상블 크기를 증가시킨다.
• 실시간 GEFSv12 앙상블 출력 약 1.5년치를 사용하여 훈련된 RF 모델을 검증하고, 예측 결과를 SPC의 인간이 작성한 전망과 비교한다.
• Brier 점수 및 신뢰도 다이어그램과 같은 확률적 지표를 사용하여 성능을 평가하며, 특히 낮은 확률 임계값에서의 校정에 초점을 맞춘다.
• 순열 중요도 및 SHAP 값과 같은 기법을 활용하여 모델의 해석 가능성을 탐색하고, 특징 기여도를 이해하며 투명성을 향상시킨다.

실험 결과

연구 질문

• RQ1 재예측 데이터 기반으로 훈련된 랜덤 포레스트 모델이 기후학적 기준과 운영 SPC 전망에 비해 중기(4~8일) 극성 날씨 예측을 기민하게 생성할 수 있는가?
• RQ2 공간 평균화 및 시간 지연과 같은 특징 공 ing 기법이 RF 기반 극성 날씨 예측의 성능과 校정에 어떤 영향을 미치는가?
• RQ3 RF 기반 예측이 4일차와 5일차에 인간이 작성한 SPC 전망과 얼마나 유사하거나 뛰어나게 성능을 내는가?
• RQ4 특히 낮은 확률 임계값에서 확률 예측이 얼마나 잘 校정되어 있으며, 이는 운영 활용도에 어떤 함의를 갖는가?
• RQ5 SHAP 및 순열 중요도와 같은 해석 기법이 ML 지침의 신뢰도 향상과 SPC 예보 운영에의 통합을 어떻게 지원할 수 있는가?

주요 결과

• RF 기반 예측은 4일차와 5일차에 기후학적 기준을 초월한 성능을 보이며, 동일한 예측 기간 동안 인간이 작성한 SPC 전망의 성능을 따라잡았다.
• 모델는 극성 날씨 사건을 다소 과소 예측하는 경향이 있었지만, 낮은 확률 임계값에서 잘 校정되어 신뢰할 수 있는 확률 출력을 제공함을 시사한다.
• 훈련 중 예측 변수의 공간 평균화로 이전 날의 대기 환경을 반영함으로써 예측 성능이 향상되었으며, 이는 극성 날씨를 사전에 예측할 수 있는 능력을 강화시켰다.
• 시간 지연 적용으로 예측 해상도가 향상되고 위협 영역이 확장되었지만, 객관적 성능은 감소하여 커버리지와 정확도 사이의 상충 관계를 보였다.
• RF 모델은 중기 범위에서 최대 8일 전까지 극성 날씨 사건의 일반적인 위치를 예측하는 데 뛰어난 성능을 보였으며, 결정론적 GEFSv12 지침보다 뛰어난 성능을 보였다.
• 본 연구는 기계 학습 기반 통계적 지침이 SPC 예보 운영을 향상시킬 잠재력을 보여주며, 중기 전망의 사전성, 일관성, 그리고 신뢰도 향상에 기여할 수 있음을 시사한다.