[논문 리뷰] Sub-Seasonal Climate Forecasting via Machine Learning: Challenges, Analysis, and Advances

Sijie He, Xinyan Li외 3명|arXiv (Cornell University)|2020. 06. 14.

Climate variability and models참고 문헌 54인용 수 9

한 줄 요약

이 논문은 미국 전역에서 2~8주 간격의 초기기후예측을 위한 기계학습(ML) 방법을 평가하며, 특히 토양 수분과 엘니뇨 지수와 같은 지표 및 해양 변수에서 유도된 철저히 설계된 특징들이 XGBoost 및 하이브리드 LSTM-FNN 인코더 모델이 기후기록 기반 기준선을 능가하도록 한다는 것을 입증한다. 고차원적이고 공간적으로 상관관계가 높은 데이터와 제한된 표본 수와 같은 도전 과제가 존재하지만, 특징 공학 및 아키텍처 선택을 철저히 적용할 경우 기계학습 모델이 뛰어난 예측 성능을 달성한다.

ABSTRACT

Sub-seasonal climate forecasting (SSF) focuses on predicting key climate variables such as temperature and precipitation in the 2-week to 2-month time scales. Skillful SSF would have immense societal value, in areas such as agricultural productivity, water resource management, transportation and aviation systems, and emergency planning for extreme weather events. However, SSF is considered more challenging than either weather prediction or even seasonal prediction. In this paper, we carefully study a variety of machine learning (ML) approaches for SSF over the US mainland. While atmosphere-land-ocean couplings and the limited amount of good quality data makes it hard to apply black-box ML naively, we show that with carefully constructed feature representations, even linear regression models, e.g., Lasso, can be made to perform well. Among a broad suite of 10 ML approaches considered, gradient boosting performs the best, and deep learning (DL) methods show some promise with careful architecture choices. Overall, suitable ML methods are able to outperform the climatological baseline, i.e., predictions based on the 30-year average at a given location and time. Further, based on studying feature importance, ocean (especially indices based on climatic oscillations such as El Nino) and land (soil moisture) covariates are found to be predictive, whereas atmospheric covariates are not considered helpful.

연구 동기 및 목표

• 미국 본토에서 2~8주 간격의 초기기후예측을 위한 다양한 기계학습 모델의 효과성을 평가하는 것.
• 고차원적이고 공간적으로 상관관계가 높은 데이터와 제한된 유효 표본 크기 등 기계학습을 초기기후예측에 적용할 때 발생하는 주요 과제를 규명하는 것.
• 특징 공학, 모델 아키텍처, 공변량 선택이 예측 성능에 미치는 영향이 어떻게 나타나는지 조사하는 것.
• 클래식한 기계학습 모델(예: 라소, XGBoost), 딥러닝(예: FNN, CNN, LSTM-디코더), 비지도 학습 방법(예: PCA)이 기후기록 기준선 대비 예측 능력을 어떻게 비교하는지 평가하는 것.
• 초기기후기온 예측에 있어 가장 예측 가능한 기후 공변량(대기, 지표, 해양)은 무엇인지 규명하는 것.

제안 방법

• 연구는 1979~2018년 기간 동안의 미국 본토 기후 기록 데이터를 사용하며, 2~8주 예측 수준에서 일일 기온 예측을 중심으로 한다.
• 선형 모델(라소), 트리 기반 모델(XGBoost), 피드포워드 및 컨볼루션 신경망(FNN, CNN), 순차 모델(LSTM-디코더와 FNN 조합) 포함 총 10종의 기계학습 모델을 평가한다.
• 특징 공학은 대기, 지표, 해양 변수에서 유도된 공변량을 구성하며, 공간 차원을 줄이고 공간 공분산 구조를 포착하기 위해 주성분 분석(PCA)을 적용한다.
• 에코더-디코더 아키텍처는 순차적 공변량을 처리하기 위해 LSTM 에코더를 사용하고, 모든 에코더 출력을 취하는 FNN 디코더를 통해 시간 정보 유지 능력을 향상시킨다.
• 예측 성능 평가에는 시간적余弦 유사도를 사용하며, 기후기록 기준선 및 감쇠 지속성 기준선과 비교한다.
• 특징 중요도 분석을 통해 어떤 기후 변수(예: 토양 수분, 엘니뇨 지수)가 예측에 가장 기여하는지 규명한다.

실험 결과

연구 질문

• RQ1 기계학습 모델이 미국 전역의 초기기후기온 예측에서 기후기록 기준선을 능가할 수 있는가?
• RQ2 고차원적이고 공간적으로 상관관계가 높은 기후 데이터에 제한된 표본 수가 존재할 때, 선형 모델, 기울기 부스팅, 딥러닝 등 다양한 기계학습 아키텍처는 어떻게 성능을 내는가?
• RQ3 초기기후기온 예측에 있어 대기, 지표, 해양 공변량 중 어떤 것이 가장 예측 가능성이 높은가?
• RQ4 특징 공학(예: PCA 또는 도메인 전문 공변량 구성)이 모델 성능 향상에 얼마나 기여하는가?
• RQ5 특히 순차 모델에서 아키텍처 설계가 초기기후예측의 예측 능력에 어떤 영향을 미치는가?

주요 결과

• XGBoost는 테스트된 모든 모델 중에서 가장 높은 예측 성능를 기록했으며, 기후기록 기준선과 감쇠 지속성 기준선을 일관되게 능가했다.
• 단순한 선형 모델인 라소도 토양 수분 및 해양 변수에서 유도된 철저한 특징 공학을 통해 강력한 성능를 보였다.
• 기울기 부스팅 모델(XGBoost)은 토양 수분과 엘니뇨 지수에서 유도된 예측 신호를 효과적으로 활용함으로써 뛰어난 성능를 보였다.
• 딥러닝 모델, 특히 하이브리드 LSTM-디코더(FNN) 아키텍처는 아키텍처 정교화를 통해 뚜렷한 성능 향상을 보였지만, 전체적으로는 최고 성능를 기록하지 못했다.
• 원시 데이터에 직접 적용된 컨볼루션 신경망(CNN)과 완전 연결 네트워크(FNN)는 강한 공간 상관관계와 특징 추출 능력 부족으로 인해 제한된 예측 능력을 보였다.
• 특징 중요도 분석 결과, 지표 및 해양 공변량(예: 토양 수분, 엘니뇨 지수)이 일관되게 선택된 반면, 대기 공변량(예: 500mb 기하지면 높이)은 거의 사용되지 않아, 초기기후 스케일에서 대기 예측 가능성은 제한적임을 시사했다.