[논문 리뷰] Comparison of Model Output Statistics and Neural Networks to Postprocess Wind Gusts

Cristina Primo, Benedikt Schulz외 2명|arXiv (Cornell University)|2024. 01. 22.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

이 연구는 풍속 예측의 보정을 위해 선형 및 로지스틱 회귀를 사용하는 모델 출력 통계(MOS)와 고급 신경망 기법—특히 분포 회귀 네트워크(DRN)와 베르누이 분위수 네트워크(BQN)—를 비교한다. 신경망, 특히 모델 변경 사항이 포함된 연장된 훈련 데이터를 사용할 경우, 전통적인 MOS에 비해 예측 보정과 신뢰성 향상이 뚜렷하게 향상됨을 발견하였으며, 기상 서비스에서의 운영적 도입에 강력한 근거를 제시한다.

ABSTRACT

Wind gust prediction plays an important role in warning strategies of national meteorological services due to the high impact of its extreme values. However, forecasting wind gusts is challenging because they are influenced by small-scale processes and local characteristics. To account for the different sources of uncertainty, meteorological centers run ensembles of forecasts and derive probabilities of wind gusts exceeding a threshold. These probabilities often exhibit systematic errors and require postprocessing. Model Output Statistics (MOS) is a common operational postprocessing technique, although more modern methods such as neural network-bases approaches have shown promising results in research studies. The transition from research to operations requires an exhaustive comparison of both techniques. Taking a first step into this direction, our study presents a comparison of a postprocessing technique based on linear and logistic regression approaches with different neural network methods proposed in the literature to improve wind gust predictions, specifically distributional regression networks and Bernstein quantile networks. We further contribute to investigating optimal design choices for neural network-based postprocessing methods regarding changes of the numerical model in the training period, the use of persistence predictors, and the temporal composition of training datasets. The performance of the different techniques is compared in terms of calibration, accuracy, reliability and resolution based on case studies of wind gust forecasts from the operational weather model of the German weather service and observations from 170 weather stations.

연구 동기 및 목표

• 풍속 예측에 대해 신경망 기반 보정 방법(DRN, BQN)이 전통적인 모델 출력 통계(MOS)에 비해 성능을 어떻게 평가하는가.
• 훈련 중 모델 변경(예: ICON 모델 업데이트, 데이터 통합(KENDA))이 신경망 예측 품질에 어떤 영향을 미치는가를 평가하는 것.
• 신경망 보정의 최적 설계 선택 사항을 조사하는 것—예: 지속성 예측자 사용 및 훈련 데이터 세트의 시간적 구성.
• 실제 기상 관측 데이터를 기반으로 170개의 독일 기상 관측소에서 수집한 실세계 데이터를 사용하여 현실적인 운영 조건 하에서 공정하고 경험적인 비교를 제공하는 것.
• 연구에서 운영으로의 전환을 지원하기 위해 국립 기상 서비스에서 신경망을 도입할 경우의 실현 가능성과 이점 평가

제안 방법

• 두 단계 보정 파이프라인을 활용: 첫 번째 단계에서 ICON 및 IFS 모델 예측을 MOS 또는 신경망을 사용해 보정하고, 두 번째 단계에서 최적 조합을 통해 통합된 확률 예측을 생성.
• 풍속의 전반적인 예측 분포를 모델링하기 위해 분포 회귀 네트워크(DRN)와 베르누이 분위수 네트워크(BQN)를 사용하여 임의의 임계값에서의 확률 예측 가능.
• 신규 ICON 모델, KENDA 데이터 통합 등 모델 변경 기간을 포함한 연장된 데이터 세트를 사용해 신경망을 훈련하고, 이러한 변화를 반영하기 위해 이진 지표를 사용.
• 최근 관측된 풍속과 같은 지속성 예측자를 사용하여 시간적 일관성과 예측 능력을 향상시키며, 특히 급격히 변화하는 기상 조건에서 유용.
• CRPS, 신뢰성, 해상도 등의 검증 지표를 요약한 점수 카드를 사용하여 MOS와 신경망 방법 간 직접적이고 종합적인 비교를 가능하게 함.
• 시간 일관성과 계산 효율성 평가를 통해 실시간 경고 시스템과 같은 운영 환경에서의 적합성 평가

실험 결과

연구 질문

• RQ1 DRN 및 BQN과 같은 신경망 기반 보정 방법이 전통적인 MOS에 비해 풍속 예측의 보정, 정확도, 신뢰성 측면에서 어떻게 성능을 냈는가?
• RQ2 신규 ICON 모델, KENDA 데이터 통합 등 모델 변경 사항을 훈련 데이터에 포함시키는 것이 신경망 보정 모델의 성능에 어떤 영향을 미치는가?
• RQ3 지속성 예측자 사용 및 훈련 데이터 세트의 시간적 구성 등 다양한 설계 선택 사항이 신경망 보정의 예측 성능에 어떤 영향을 미치는가?
• RQ4 모델 변경 사항이 포함된 장기간이고 이질적인 훈련 데이터 세트로 훈련된 신경망이 동질적인 데이터로 훈련된 경우보다 운영 기상 예측에서 더 우수한 성능을 내는가?
• RQ5 특히 시간 일관성과 계산 효율성 측면에서 운영 기상 서비스에서 MOS 대비 신경망을 사용할 경우 실질적인 영향은 무엇인가?

주요 결과

• 특히 극한 풍속 이벤트를 잘 포착함에 있어, DRN 및 BQN과 같은 신경망 기반 보정 방법이 전통적인 MOS에 비해 예측 보정과 신뢰성 향상이 뚜렷하게 향상됨.
• 신규 ICON 모델, KENDA 데이터 통합 등 모델 변경 기간을 포함한 장기간의 데이터 세트로 훈련한 신경망이 동질적 데이터로 훈련한 경우보다 더 우수한 예측 성능을 보이며, 모델 변경이 발생하더라도 마찬가지임.
• 지속성 예측자의 포함이 특히 단기 풍속 예측에서 정확도와 시간 일관성을 향상시킴.
• DRN과 BQN은 MOS가 일반적으로 임계값 초과 확률에 집중하는 데 반해, 모든 임계값에서 일관된 확률 예측을 가능하게 하는 전반적인 예측 분포 제공.
• 신경망의 복잡성에도 불구하고, 적절히 설계된 경우 시간 일관성과 운영용으로 적합한 계산 효율성 유지.
• 연구는 운영용 MOS와 현대적 신경망 방법 간 공정하고 직접적인 비교가 가능하며, CRPS 및 신뢰성과 같은 핵심 검증 지표에서 신경망의 명확한 우수성을 드러냄.