[논문 리뷰] Spatio-temporal Weather Forecasting and Attention Mechanism on Convolutional LSTMs.

Selim Furkan Tekin, Oğuzhan Karaahmetoğlu외 3명|arXiv (Cornell University)|2021. 02. 01.

Meteorological Phenomena and Simulations참고 문헌 50인용 수 23

한 줄 요약

이 논문은 고해상도 기상 예측을 향상시키기 위해 컨volutional LSTMs와 주의 메커니즘, 그리고 컨텍스트 매칭 메커니즘을 결합한 새로운 시공간 예측 모델을 제안한다. ERA5 압력면 온도 예측에서 최신 기술 수준의 성능을 달성하여, 3시간 간격으로 10단계 예측 시 평균 오차를 2도로 감소시킨다.

ABSTRACT

Numerical weather forecasting on high-resolution physical models consume hours of computations on supercomputers. Application of deep learning and machine learning methods in forecasting revealed new solutions in this area. In this paper, we forecast high-resolution numeric weather data using both input weather data and observations by providing a novel deep learning architecture. We formulate the problem as spatio-temporal prediction. Our model is composed of Convolutional Long-short Term Memory, and Convolutional Neural Network units with encoder-decoder structure. We enhance the short-long term performance and interpretability with an attention and a context matcher mechanism. We perform experiments on high-scale, real-life, benchmark numerical weather dataset, ERA5 hourly data on pressure levels, and forecast the temperature. The results show significant improvements in capturing both spatial and temporal correlations with attention matrices focusing on different parts of the input series. Our model obtains the best validation and the best test score among the baseline models, including ConvLSTM forecasting network and U-Net. We provide qualitative and quantitative results and show that our model forecasts 10 time steps with 3 hour frequency with an average of 2 degrees error. Our code and the data are publicly available.

연구 동기 및 목표

• 기존 수치 기상 모델의 계산 비효율성을 해결하기 위해 딥러닝을 고해상도 기상 예측에 적용함으로써 문제를 해결하고자 한다.
• 하이브리드 인코더-디코더 아키텍처를 통해 기상 예측에서의 시공간 상관관계 학습을 향상시키고자 한다.
• 주의 메커니즘과 컨텍스트 매칭 메커니즘을 통해 모델의 해석 가능성과 장거리 시간적 의존성 포착 능력을 향상시키고자 한다.
• 실제 ERA5 데이터 기반 기준 모델인 ConvLSTM 및 U-Net과 비교해 우수한 예측 정확도를 달성하고자 한다.

제안 방법

• 모델는 시공간 특징 추출을 위해 컨볼루션형 장기 단기 기억망(ConvlSTM) 유닛 기반의 인코더-디코더 아키텍처를 채택한다.
• 입력 기상 데이터의 공간적 특징을 처리하기 위해 컨볼루션 신경망(CNN) 구성 요소를 통합한다.
• 입력 시퀀스의 관련된 공간적 및 시간적 영역에 동적으로 집중하기 위해 주의 메커니즘을 적용한다.
• 인코더와 디코더 상태 간의 정렬을 향상시켜 장기 의존성 모델링을 강화하기 위해 컨텍스트 매처 메커니즘이 도입된다.
• 모델는 온도 예측을 위해 ERA5의 시간당 압력면 데이터를 기반으로 엔드 투 엔드로 훈련된다.
• 공간-시간 집중도 평가를 위해 정량적 지표와 정성적 주의 시각화 분석을 함께 평가한다.

실험 결과

연구 질문

• RQ1 주어진 주의 메커니즘과 함께 하이브리드 ConvLSTM 및 CNN 아키텍처가 표준 기준 모델 대비 고해상도 기상 예측 정확도를 향상시킬 수 있는가?
• RQ2 예측 과정에서 주의 메커니즘이 기상 데이터의 관련된 공간적 및 시간적 패턴을 얼마나 효과적으로 국소화하는가?
• RQ3 컨텍스트 매처 메커니즘이 예측 과제에서 장거리 시간적 의존성 학습을 어느 정도 향상시키는가?
• RQ4 제안된 모델은 실제 세계의 ERA5 데이터에서 다양한 기상 조건에 대해 잘 일반화되는가?
• RQ5 3시간 간격으로 온도 예측을 수행할 때, 모델의 성능이 ConvLSTM 및 U-Net과 비교해 정량적·정성적으로 어떻게 다른가?

주요 결과

• 제안된 모델은 ConvLSTM 및 U-Net을 포함한 모든 기준 모델 중에서 최고의 검증 및 테스트 점수를 기록한다.
• 모델은 3시간 간격으로 10단계 예측을 수행할 때 온도 예측 과제에서 평균 오차 2도 섄티그레이드를 달성한다.
• 주의 행렬은 입력 시계열에서 관련된 공간적 및 시간적 영역을 효과적으로 강조하여, 모델의 해석 가능성과 성능 향상에 기여한다.
• 컨텍스트 매처 메커니즘의 통합은 장기 의존성 모델링을 향상시켜 시간적 상관관계 학습 향상에 기여한다.
• 정성적 분석을 통해 주의 메커니즘이 front 및 고기압 시스템과 같은 기상학적으로 의미 있는 기상 패턴에 집중하는 것으로 확인되었다.
• 모델는 고해상도 실세계 ERA5 데이터에서 강력한 일반화 능력을 보이며, 실용적 적용 가능성의 타당성을 입증한다.