[논문 리뷰] ENS-10: A Dataset For Post-Processing Ensemble Weather Forecasts

Saleh Ashkboos, Langwen Huang외 6명|arXiv (Cornell University)|2022. 06. 29.

Meteorological Phenomena and Simulations인용 수 8

한 줄 요약

이 논문은 중기 예보(48시간 예측 시간)를 위한 고해상도 20년 분량의 10개의 변동된 앙상블 구성원을 포함하는 ENS-10을 소개한다. 이는 앙상블 기상 예측의 후처리 향상에 기여한다. CRPS를 사용한 예측 보정 작업과 극단 기상 현상의 정확도를 우선시하는 새로운 EECRPS 지표를 제안하며, 일관된 기준과 오픈소스 도구를 통해 통계적 및 딥러닝 모델을 벤치마킹한다.

ABSTRACT

Post-processing ensemble prediction systems can improve the reliability of weather forecasting, especially for extreme event prediction. In recent years, different machine learning models have been developed to improve the quality of weather post-processing. However, these models require a comprehensive dataset of weather simulations to produce high-accuracy results, which comes at a high computational cost to generate. This paper introduces the ENS-10 dataset, consisting of ten ensemble members spanning 20 years (1998-2017). The ensemble members are generated by perturbing numerical weather simulations to capture the chaotic behavior of the Earth. To represent the three-dimensional state of the atmosphere, ENS-10 provides the most relevant atmospheric variables at 11 distinct pressure levels and the surface at 0.5-degree resolution for forecast lead times T=0, 24, and 48 hours (two data points per week). We propose the ENS-10 prediction correction task for improving the forecast quality at a 48-hour lead time through ensemble post-processing. We provide a set of baselines and compare their skill at correcting the predictions of three important atmospheric variables. Moreover, we measure the baselines' skill at improving predictions of extreme weather events using our dataset. The ENS-10 dataset is available under the Creative Commons Attribution 4.0 International (CC BY 4.0) license.

연구 동기 및 목표

• 기계학습 모델의 앙상블 기상 후처리 훈련 및 평가를 위한 표준화되고 고해상도의 앙상블 데이터셋 부족 문제를 해결하기 위해.
• 앙상블 기상 예측의 체계적 편향을 보정하여 예측 신뢰도 및 극단 기상 현상 예측 정확도를 향상시키기 위해.
• 극단 기상 현상을 강조하는 새로운 EECRPS 지표와 함께 CRPS를 사용한 통합 벤치마크 데이터셋 및 평가 프레임워크 제공을 위해.
• 오픈소스 파이썬 API, 데이터 다운로더 및 주피터 노트북을 통해 재현 가능한 연구 및 모델 비교를 가능하게 하기 위해.
• 후처리를 넘어서 불확실성 정량화, 간격 보정, 예보 필드에서의 진단 필드 학습 등 다양한 응용 분야를 지원하기 위해.

제안 방법

• ENS-10 데이터셋은 1998년부터 2017년까지의 중기 수치 기상 시뮬레이션에서 유도된 10개의 변동된 앙상블 구성원을 포함하며, 공간 해상도는 0.5°이며, 11개의 기압 수준과 표면 변수를 포함한다.
• 대기 상태는 11개 기압 수준과 표면에서 18개의 핵심 변수(예: 기온, 지면위치, 바람)로 표현되며, 예측 시간은 T=0, 24, 48시간에 해당한다.
• 후처리 파이프라인은 딥러닝 및 통계 모델을 사용하여 편향이 있는 앙상블 예측을 보정하며, 원시 앙상블 출력을 校정된 예측 분포로 매핑한다.
• 모델 성능 평가는 연속적 랭크 확률 점수(CRPS)와 새로운 극단 기상 가중 CRPS(EECRPS)를 사용한다. EECRPS는 예측 불확실성이 높거나 기후 평균에서 크게 벗어난 영역에서의 오차에 가중치를 부여한다.
• 각 변수와 위치별로 데이터 정규화를 수행한다: EMOS에는 최소-최대 스케일링을, 딥러닝 모델에는 전역 시간-앙상블 통계를 기반으로 한 z-스코어 정규화를 사용한다.
• 기준 모델로는 EMOS, MLP, LeNet, U-Net, Transformer 아키텍처를 사용하며, 모든 모델은 단일 A100 GPU에서 10 에포크 동안 훈련하고, 세 개의 랜덤 시드를 통해 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 앙상블 구성원 수(10명 대비 5명)가 예측 편향 보정에 대한 후처리 모델 성능에 미치는 영향은 어떠한가?
• RQ2 EMOS, MLP, LeNet, U-Net, Transformer 중 어떤 기계학습 아키텍처가 Z500, T850, T2m와 같은 다양한 대기 변수에서 가장 높은 예측 정확도를 달성하는가?
• RQ3 새로운 EECRPS 지표는 표준 CRPS에 비해 극단 기상 현상의 탐지 및 예측 정확도를 얼마나 향상시키는가?
• RQ4 ENS-10 데이터셋은 다양한 모델 아키텍처와 구성에서 후처리 모델의 훈련 및 평가를 위한 신뢰할 수 있는 기준 데이터셋으로 기능할 수 있는가?
• RQ5 ERA5 재분석 데이터셋이 기준 진술로 사용될 경우, ENS-10에서의 성능 평가의 타당성과 신뢰성에 어떤 영향을 미치는가?

주요 결과

• Z500 변수에서는 LeNet 스타일 모델이 가장 우수한 성능을 보였고, T850 및 T2m에서는 Transformer 모델이 가장 뛰어난 성능을 보여, 변수에 따라 아키텍처의 특수성에 따른 강점이 있음을 시사한다.
• U-Net 모델은 모든 지표와 변수에서 일관되고 뛰어난 성능을 보였으며, 대기 필드의 공간적 특징 학습에 있어 뛰어난 강건성을 보였다.
• EMOS는 일부 실행에서 원시 앙상블 대비 성능 저하를 보였고, 변동성이 높았는데, 이는 최적의 초모수 설정이 어려워 초기화 및 최적화에 민감하기 때문일 것으로 보인다.
• EECRPS 지표는 극단 기상 현상의 보정을 효과적으로 우선시하여, 고위험·고불확실성 영역에서 예측을 향상시킨 모델을 보상하는 데 성공했다.
• 앙상블 수를 10명에서 5명으로 줄이면 모든 기준 모델에서 성능 저하가 발생했으며, 정확한 후처리를 위해 앙상블 크기가 중요함을 입증했다.
• 이 데이터셋과 관련 도구는 원시 데이터, 전처리, 정규화, 훈련 파이프라인에 대한 완전한 액세스를 오픈소스 파이썬 API 및 주피터 노트북을 통해 제공하여 재현 가능한 훈련 및 평가를 가능하게 했다.