[논문 리뷰] Learning and Dynamical Models for Sub-seasonal Climate Forecasting: Comparison and Collaboration

Sijie He, Xinyan Li외 4명|arXiv (Cornell University)|2021. 09. 29.

Meteorological Phenomena and Simulations인용 수 4

한 줄 요약

이 논문은 서부 미국에서 2주에서 2개월 사이의 초기기후예측을 위한 최신 기계학습(ML) 모델들과 물리기반 동역학모델(SubX: GMAO-GEOS 및 NCEP-CFSv2)을 비교한다. 평균적으로 ML 모델이 동역학모델을 능가하지만, 예측이 더 보수적임을 입증한다. 특히 중요한 점은 SubX 예측을 입력 특성으로 통합할 경우 ML 모델 성능이 크게 향상되며, 특히 예측이 어려운 지역인 중부 미국에서 두드러진다. 이는 향상된 초기기후예측을 위한 하이브리드 모델링의 가치를 시사한다.

ABSTRACT

Sub-seasonal climate forecasting (SSF) is the prediction of key climate variables such as temperature and precipitation on the 2-week to 2-month time horizon. Skillful SSF would have substantial societal value in areas such as agricultural productivity, hydrology and water resource management, and emergency planning for extreme events such as droughts and wildfires. Despite its societal importance, SSF has stayed a challenging problem compared to both short-term weather forecasting and long-term seasonal forecasting. Recent studies have shown the potential of machine learning (ML) models to advance SSF. In this paper, for the first time, we perform a fine-grained comparison of a suite of modern ML models with start-of-the-art physics-based dynamical models from the Subseasonal Experiment (SubX) project for SSF in the western contiguous United States. Additionally, we explore mechanisms to enhance the ML models by using forecasts from dynamical models. Empirical results illustrate that, on average, ML models outperform dynamical models while the ML models tend to be conservatives in their forecasts compared to the SubX models. Further, we illustrate that ML models make forecasting errors under extreme weather conditions, e.g., cold waves due to the polar vortex, highlighting the need for separate models for extreme events. Finally, we show that suitably incorporating dynamical model forecasts as inputs to ML models can substantially improve the forecasting performance of the ML models. The SSF dataset constructed for the work, dynamical model predictions, and code for the ML models are released along with the paper for the benefit of the broader machine learning community.

연구 동기 및 목표

• 서부 연방미국에서 최신 기계학습 모델을 최신 물리기반 동역학모델(SubX)과 비교하여 초기기후예측 성능을 평가한다.
• 동역학모델 예측을 입력 특성으로 통합함으로써 기계학습 모델의 예측 성능 향상 여부를 조사한다.
• 특히 냉기 폭풍과 같은 극단기상현상의 예측을 과소평가하는 경향 등 ML 모델의 한계를 규명한다.
• 공개 가능한 SSF 데이터셋과 코드베이스를 제공하여 기계학습 및 기후과학 공동체의 재현성과 향후 연구를 지원한다.

제안 방법

• 서부 미국을 대상으로 새로 구축한 초기기후예측 데이터셋을 바탕으로, AutoKNN, 다중작업 라소, XGBoost, 딥 인코더-디코더 네트워크의 4종류 최신 ML 모델을 훈련 및 평가한다.
• GMAO-GEOS 및 NCEP-CFSv2 두 종류의 SubX 동역학모델 히든캐스트 데이터를 기준 예측으로 사용하고, 공간 및 시간 이격상관계수(ACC)와 상대 R²를 사용하여 ML 모델과의 성능을 비교한다.
• SubX 예측 출력을 추가 입력 특성으로 포함하여 ML 모델을 향상시키며, 훈련 데이터를 SubX 히든캐스트와 동일한 시간 창으로 제한하여 공정한 비교를 확보한다.
• 다중작업 라소의 경우, 모든 위치에서 동일한 초모수를 공동 최적화하고, 각 위치마다 별도의 모델을 SubX 특성을 포함하여 훈련한다.
• SubX 예측을 ML 모델에 통합했을 때의 예측 능력 향상 여부를 통계적 유의성 검정(기호검정)을 통해 비교한다.
• 특정 지역에서의 예측 가능성이 낮은 지역(예: 서북중부 미국)에 집중하여 모델 성능을 공간적·시간적으로 평가한다.

실험 결과

연구 질문

• RQ1 최신 기계학습 모델이 서부 연방미국 전역에서 기초가 되는 물리기반 동역학모델(SubX)보다 초기기후기온예측 성능이 뛰어나게 되는가?
• RQ2 ML 모델의 예측 특성(예: 보수성)은 동역학모델의 특성(예: 척도 및 변동성)과 어떻게 비교되는가?
• RQ3 동역학모델 예측을 입력 특성으로 통합함으로써 기계학습 모델의 예측 성능을 크게 향상시킬 수 있는가?
• RQ4 기계학습 모델이 가장 자주 실패하는 지역이나 조건는 어디이며, 이러한 실패는 특정 기상현상과 관련이 있는가?
• RQ5 SubX 예측을 포함함으로써 표본 크기가 얼마나 감소하는가? 이는 어떻게 공정한 모델 비교를 확보하기 위해 해결되는가?

주요 결과

• 공간 및 시간 이격상관계수(ACC)로 측정한 결과, 평균적으로 기계학습 모델이 SubX 동역학모델보다 초기기후기온예측 성능이 뛰어나다.
• ML 모델은 SubX 모델보다 더 보수적인 예측을 하며, 예측의 크기가 작다. 이는 잘못된 예측일 경우 더 큰 오차를 초래할 수 있다.
• GMAO-GEOS 및 NCEP-CFSv2를 포함한 SubX 예측을 입력 특성으로 통합함으로써 XGBoost 및 라소 모델의 예측 능력이 크게 향상되며, 대부분의 비교에서 p값 < 0.01을 기록한다.
• 성능 향상은 역사적으로 예측이 어려운 지역인 서북중부 미국에서 가장 두드러지며, 이 지역에서는 이전에 음수였던 시간적 ACC 값이 특성 융합 후 양수로 전환된다.
• SubX 특성을 포함한 라소 모델은 공간 ACC 중앙값이 0.25(NCEP-CFSv2 기준)이며 평균은 0.23로, 기준 모델 대비 상당한 향상이 이루어졌다.
• 극단기상현상인 북극부근의 저기압에 연루된 냉기 폭풍 기간 동안 ML 모델이 심각한 예측 오류를 보이며, 극단 기상 조건에 특화된 모델링의 필요성이 제기된다.