[논문 리뷰] Sea Ice Forecasting using Attention-based Ensemble LSTM

Sahara Ali, Yiyi Huang외 2명|arXiv (Cornell University)|2021. 07. 27.

Arctic and Antarctic ice dynamicsEarth and Planetary Sciences참고 문헌 10인용 수 18

한 줄 요약

이 논문은 1979–2018년 동안 ERA5와 NSIDC의 일일 및 월간 대기, 해양, 해빙 데이터를 활용하여, 1개월 전까지의 월간 북극 해빙 확률을 예측하기 위해 주목사용 기반의 앙상블 장기 단기 기억(LSTM) 모델을 제안한다. 이 방법은 다중 시간 해상도 모델을 주목사 메커니즘을 통해 통합하여 예측 정확도를 향상시키며, 4.11%의 RMSE를 달성하여 기준 모델 및 최근의 딥러닝 모델을 크게 능가한다.

ABSTRACT

Accurately forecasting Arctic sea ice from subseasonal to seasonal scales has been a major scientific effort with fundamental challenges at play. In addition to physics-based earth system models, researchers have been applying multiple statistical and machine learning models for sea ice forecasting. Looking at the potential of data-driven sea ice forecasting, we propose an attention-based Long Short Term Memory (LSTM) ensemble method to predict monthly sea ice extent up to 1 month ahead. Using daily and monthly satellite retrieved sea ice data from NSIDC and atmospheric and oceanic variables from ERA5 reanalysis product for 39 years, we show that our multi-temporal ensemble method outperforms several baseline and recently proposed deep learning models. This will substantially improve our ability in predicting future Arctic sea ice changes, which is fundamental for forecasting transporting routes, resource development, coastal erosion, threats to Arctic coastal communities and wildlife.

연구 동기 및 목표

• 데이터 기반 딥러닝 모델을 활용해 초기기상에서 기상까지의 북극 해빙 예측 정확도를 향상시키기 위해.
• 7월~9월 동안 예측 가능성이 낮은 북극 년간 녹화기의 도전 과제를 해결하기 위해.
• 일일 및 월간 시간 해상도로 훈련된 모델을 통합하는 앙상블 방법을 개발하여 예측 정확도를 향상시키기 위해.
• 구성 모델의 기여도를 동적으로 가중하는 주목사 메커니즘을 통합하여 예측 오차를 감소시키기 위해.
• 기후 회복력 및 북극 계획을 위한 확장 가능하고 해석 가능하며 정확한 예측 프레임워크를 제공하기 위해.

제안 방법

• 모델는 일일에서 월간으로의 LSTM(d-LSTM)과 월간에서 월간으로의 LSTM(m-LSTM)이라는 두 가지 주요 브랜치를 사용하며, 각각 일일 및 월간 시계열 데이터를 기반으로 훈련된다.
• 앙상블 모델(E-LSTM)은 d-LSTM과 m-LSTM의 예측 결과를 학습된 주목사 가중치를 사용해 통합하여 더 유용한 모델 출력을 우선시한다.
• 주목사 메커니즘은 각 구성 모델의 예측 성능에 기반해 동적으로 가중치를 계산하여 훈련 중 총 손실을 최소화한다.
• 최종 모델인 EA-LSTM는 주목사 메커니즘을 앙상블 프레임워크에 통합하여, 다양한 시간 해상도 및 계절 조건에서 성능이 뛰어난 모델에 더 많은 집중을 가능하게 한다.
• 모델는 34년(1979–2012년)의 데이터로 훈련되고, 마지막 5년(2013–2018년)의 데이터로 테스트되며, 25°N 북쪽의 북극 지역에 대해 면적 가중 평균을 사용한다.
• 아키텍처는 다른 시간 해상도나 공간 해상도로 훈련된 추가 모델 브랜치를 포함하도록 확장 가능하다.

실험 결과

연구 질문

• RQ1 단일 모델 기준 모델 대비 다중 시간 해상도 딥러닝 모델의 앙상블이 월간 북극 해빙 확률 예측 정확도를 향상시킬 수 있는가?
• RQ2 주목사 메커니즘을 통합함으로써 앙상블 모델의 성능과 강건성이 어떻게 향상되는가? 특히 예측 가능성이 낮은 녹화기 동안에는 어떻게 되는가?
• RQ3 주목사 기반 앙상블 모델이 최근의 최첨단 딥러닝 모델보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 주목사 메커니즘이 시간 해상도와 계절 변동성에 따라 모델 기여도를 효과적으로 학습할 수 있는가?
• RQ5 모델는 해빙 확률의 연간 변동성과 계절 전환 패턴을 어떻게 잘 포착하는가?

주요 결과

• 제안된 EA-LSTM 모델은 월간 해빙 확률 예측에서 테스트 RMSE가 4.11%를 기록하며, 기준 모델을 크게 능가한다.
• 주목사 기반 앙상블은 E-LSTM(주목사 미적용) 및 개별 d-LSTM/m-LSTM 모델 대비 손실을 감소시키고 정확도를 향상시킨다.
• EA-LSTM 모델은 일반적으로 예측 가능성이 낮은 도전적인 녹화기(7월~9월) 동안 뛰어난 성능을 보인다.
• Chi & Kim(2017)과 비교해 RMSE가 1.65% 감소했으며, Kim 등(2020)과 비교해 8% 감소하여 강력한 성능 향상을 입증한다.
• 주목사 메커니즘이 효과적으로 모델 기여도를 가중시키며, 특정 조건에서 성능이 뛰어난 모델에 더 높은 주목사 가중치를 할당한다.
• 시각화 결과 EA-LSTM 예측 결과가 2014~2018년 기간 동안 관측된 해빙 추세를 잘 따르며, 특히 계절적 감소 및 회복 패턴을 잘 포착하고 있음을 보여준다.