[논문 리뷰] Spatio-temporal Stacked LSTM for Temperature Prediction in Weather Forecasting

Zahra Karevan, Johan A. K. Suykens|arXiv (Cornell University)|2018. 11. 15.

Time Series Analysis and Forecasting참고 문헌 16인용 수 33

한 줄 요약

이 논문은 온도 예측을 위한 시공간 스택드 LSTM 모델을 제안한다. 이 모델은 첫 번째 레이어에서 다수의 위치에서의 기상 데이터를 독립적으로 처리하고, 그들의 은닉 상태를 융합한 후 두 번째 LSTM 레이어로 전달한다. 공간 상관관계를 활용함으로써 예측 정확도를 향상시키며, 결과적으로 MAE가 크게 감소한다 — 특히 시그모이드 활성화 함수와 공간 융합을 사용할 경우에 특히 두드러진다. 이는 최신 기술 수준의 방법들과 경쟁 가능한 성능을 보인다.

ABSTRACT

Long Short-Term Memory (LSTM) is a well-known method used widely on sequence learning and time series prediction. In this paper we deployed stacked LSTM model in an application of weather forecasting. We propose a 2-layer spatio-temporal stacked LSTM model which consists of independent LSTM models per location in the first LSTM layer. Subsequently, the input of the second LSTM layer is formed based on the combination of the hidden states of the first layer LSTM models. The experiments show that by utilizing the spatial information the prediction performance of the stacked LSTM model improves in most of the cases.

연구 동기 및 목표

• 깊이 학습 모델에서 공간적 및 시간적 의존성을 통합함으로써 기상 예측에서의 온도 예측 정확도를 향상시키는 것.
• 지역별 LSTM에서 유도된 은닉 상태를 융합함으로써 예측 성능 향상 여부를 조사하는 것.
• 다중 위치 기상 시계열에 대해 공간 유도 편향을 가진 스택드 LSTM 아키텍처의 효과성을 평가하는 것.
• 다양한 활성화 함수(tanh 대비 시그모이드)와 시퀀스 길이를 사용한 모델 성능 비교.
• Weather Underground와 같은 최신 기술 수준의 기상 예측 시스템과의 비교 평가.

제안 방법

• 모델은 두 레이어로 구성된 스택드 LSTM 아키텍처를 사용하며, 첫 번째 레이어에서는 각 기상 관측소별로 독립적인 LSTM을 학습한다.
• 첫 번째 레이어에서 모든 위치의 은닉 상태를 연결(concatenate)하여 두 번째 LSTM 레이어의 입력으로 사용한다.
• 두 번째 레이어는 통합된 시공간 표현을 처리하여 향후 온도를 예측한다.
• 모델은 각 위치별로 별도의 가중치 행렬과 편향을 사용하는 표준 LSTM 셀 방정식을 적용한다.
• 이 방법은 다중 위치 데이터의 초기 융합(스택드 LSTM)과 중간 융합(시공간 융합)을 사용한다.
• 실험은 시퀀스 길이 10을 사용하며, 정확도를 확보하기 위해 5회 랜덤 실행을 통해 하이퍼파라미터를 경험적으로 조정한다.

실험 결과

연구 질문

• RQ1 다수의 기상 관측소 간의 공간 상관관계를 LSTM 기반 모델에 통합할 경우 온도 예측 정확도가 향상되는가?
• RQ2 공간 융합이 없는 표준 스택드 LSTM에 비해 시공간 스택드 LSTM의 성능은 어떻게 비교되는가?
• RQ3 제안된 아키텍처에서 어떤 활성화 함수(tanh 또는 시그모이드)가 더 높은 예측 성능을 낳는가?
• RQ4 제안된 모델은 Weather Underground와 같은 최신 기술 수준의 기상 예측 시스템과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 예측 정확도는 다양한 예측 수준(1~6일 후)에서 어떻게 변화하는가?

주요 결과

• 시공간 스택드 LSTM은 11월/12월 테스트 세트에서 최저 기온 예측 시 표준 스택드 LSTM 대비 최대 18%까지 MAE를 감소시켰다.
• 4월/5월 테스트 세트에서 1일 후 예측의 최고 기온 예측에서는 표준 스택드 LSTM 대비 모델이 MAE를 25% 낮췄다.
• 내부 활성화 함수로 시그모이드를 사용할 경우 tanh보다 성능 향상이 일관되게 향상되었으며, 특히 공간 융합이 적용된 경우 두드러졌다.
• 모델은 두 테스트 세트에서 최저 기온 예측에서 Weather Underground를 초월하여 뛰어난 경쟁력을 입증했다.
• 장기 예측 수준(예: 5~6일 후)에서 성능 향상이 가장 두드러졌으며, 이는 공간 융합이 예측을 안정화시키는 데 기여했다.
• 11월/12월 세트에서 1일 후 최저 기온 예측의 중앙값 MAE는 표준 스택드 LSTM의 1.66에서 시공간 스택드 LSTM의 1.43으로 감소했다.