[논문 리뷰] Benchmark Dataset for Precipitation Forecasting by Post-Processing the Numerical Weather Prediction

Taehyeon Kim, Namgyu Ho외 2명|arXiv (Cornell University)|2022. 06. 30.

Meteorological Phenomena and Simulations인용 수 6

한 줄 요약

이 논문은 한국 반도 지역의 강수 예측 정확도와 해석 가능성 향상을 위해 딥러닝을 활용한 수치기상예보(NWP) 출력 후처리를 위한 벤치마크 데이터셋인 KoMet을 소개한다. 자동기상관측소(AWS)의 진짜 강우량을 기준으로 GDAPS-KIM NWP 출력에 딥뉴럴넷을 훈련시킴으로써, 장기 예측에서 특히 정확도와 해석 가능성이 향상되며, 향후 NWP 발전과도 호환된다. 데이터셋과 오픈소스 도구는 연구 목적을 위해 공개되어 있다.

ABSTRACT

Precipitation forecasting is an important scientific challenge that has wide-reaching impacts on society. Historically, this challenge has been tackled using numerical weather prediction (NWP) models, grounded on physics-based simulations. Recently, many works have proposed an alternative approach, using end-to-end deep learning (DL) models to replace physics-based NWP models. While these DL methods show improved performance and computational efficiency, they exhibit limitations in long-term forecasting and lack the explainability. In this work, we present a hybrid NWP-DL workflow to fill the gap between standalone NWP and DL approaches. Under this workflow, the outputs of NWP models are fed into a deep neural network, which post-processes the data to yield a refined precipitation forecast. The deep model is trained with supervision, using Automatic Weather Station (AWS) observations as ground-truth labels. This can achieve the best of both worlds, and can even benefit from future improvements in NWP technology. To facilitate study in this direction, we present a novel dataset focused on the Korean Peninsula, termed KoMet (Korea Meteorological Dataset), comprised of NWP outputs and AWS observations. For the NWP model, the Global Data Assimilation and Prediction Systems-Korea Integrated Model (GDAPS-KIM) is utilized. We provide analysis on a comprehensive set of baseline methods aimed at addressing the challenges of KoMet, including the sparsity of AWS observations and class imbalance. To lower the barrier to entry and encourage further study, we also provide an extensive open-source Python package for data processing and model development. Our benchmark data and code are available at https://github.com/osilab-kaist/KoMet-Benchmark-Dataset.

연구 동기 및 목표

• 장기 예측 및 해석 가능한 강수 예측에서 독립적인 딥러닝 모델과 NWP 모델의 한계를 해결하기 위해.
• 물리 기반 NWP 출력과 지도 학습 딥러닝을 융합한 하이브리드 NWP-DL 워크플로우를 개발하여 정교한 강수 예측을 가능하게 하기 위해.
• NWP 후처리를 위한 연구를 가속화하기 위해 종합적이고 공개 가능한 벤치마크 데이터셋과 오픈소스 도구를 제공하기 위해.
• 한국 반도의 복잡한 지형과 장마 기후 조건을 고려해 희소한 AWS 관측과 클래스 불균형 문제를 분석하기 위해.

제안 방법

• 딥뉴럴넷의 입력 특징으로 GDAPS-KIM NWP 모델 출력을 사용하고, 시간당 AWS 강우 관측값을 지도 학습을 위한 진짜 레이블로 활용한다.
• NWP 출력을 딥러닝 모델이 후처리하여 강수 예측을 정교화하는 하이브리드 NWP-DL 워크플로우를 제안한다.
• KoMet 데이터셋은 한국 반도 전역의 50×65 격자 NWP 출력(12km 해상도)과 484개의 AWS 기상관측소를 포함하며, 2020년 7월~2021년 8월 기간의 데이터를 포함한다.
• CSI, 정확도, 편향 등의 지표를 사용해 ConvLSTM 및 U-Net과 같은 베이스라인 모델을 평가하고, 공간 모델링 및 범주 기준치에 대한 아블레이션 연구를 수행한다.
• 강수 강도(예: 비가 얕은, 보통, 강한)에 맞는 사용자 정의 가능한 범주 기준치를 지원하여 강수 범주에 대한 탄력적인 평가를 가능하게 한다.
• 연구자들이 데이터 처리, 모델 훈련, 평가를 간편하게 수행할 수 있도록 오픈소스 파이썬 패키지를 제공한다.

실험 결과

연구 질문

• RQ1 딥러닝을 활용한 NWP 출력 후처리가 독립적인 NWP 또는 딥러닝 모델 대비 강수 예측 정확도를 얼마나 향상시키는가?
• RQ2 딥러닝 아키텍처에 공간적·시간적 모델링을 통합할 경우, 희소하고 불균형한 강우 데이터에서 예측 성능이 얼마나 향상되는가?
• RQ3 특히 한국 반도의 장마 기간 동안, 다양한 예측 리드 타임과 월별로 모델 일반화 능력은 어떻게 변화하는가?
• RQ4 강수 강도에 대한 다양한 범주 기준치 설정이 모델 성능과 지표 해석에 어떤 영향을 미치는가?
• RQ5 NWP 출력 보정 시, 점별 모델링 대비 공간 모델링이 딥러닝 아키텍처에서 얼마나 효과적인가?

주요 결과

• 하이브리드 NWP-DL 접근법은 강수 예측 성능을 크게 향상시키며, ConvLSTM는 경미한 비에 대해 CSI 0.296, 강한 비에 대해 편향 0.006을 기록한다.
• 여러 범주 기준치(예: V4는 6개 클래스)로 훈련한 모델은 기준선 대비 강우 CSI를 3.2% 향상시켜 0.032를 기록하지만, 경미한 비 CSI는 약간 저하된다.
• 공간 모델링은 필수적이다: 점별 모델링 전용 아키텍처는 경미한 비 CSI가 단지 0.195에 불과해 ConvLSTM의 0.296보다 훨씬 열 劣하다.
• 겨울철에는 강우량이 적어 성능이 저하되며, 연간 평균 강우의 CSI는 약 0.3 수준이지만, 강우 사건의 희소성으로 인해 강우 CSI는 급격히 떨어진다.
• 리드 타임에 따른 CSI 곡선은 관측된 강우 비율과 유사한 꺾임을 보이며, 모델이 시간 예측 범위와 강우 빈도에 민감함을 시사한다.
• 프레임워크는 탄력적인 기준치 설정을 지원하며, 중간 강수 강도 범주를 늘릴 경우 강우 CSI는 향상되나, 경미한 비 성능은 약간 저하된다.