[論文レビュー] Spatio-temporal Stacked LSTM for Temperature Prediction in Weather Forecasting

Zahra Karevan, Johan A. K. Suykens|arXiv (Cornell University)|Nov 15, 2018

Time Series Analysis and Forecasting参考文献 16被引用数 33

ひとこと要約

本稿では、複数の場所からの気象データを最初の層で独立して処理し、その後隠れ状態を統合して2番目のLSTM層に渡す、空間的・時系列的スタックドLSTMモデルを提案する。空間相関を活用することで予測精度が向上し、MAEが顕著に低減される。特にシグモイド活性化関数と空間統合を用いることで、最先端の手法と同等の性能を達成する。

ABSTRACT

Long Short-Term Memory (LSTM) is a well-known method used widely on sequence learning and time series prediction. In this paper we deployed stacked LSTM model in an application of weather forecasting. We propose a 2-layer spatio-temporal stacked LSTM model which consists of independent LSTM models per location in the first LSTM layer. Subsequently, the input of the second LSTM layer is formed based on the combination of the hidden states of the first layer LSTM models. The experiments show that by utilizing the spatial information the prediction performance of the stacked LSTM model improves in most of the cases.

研究の動機と目的

• 深層学習モデルにおける空間的および時系列的依存関係を統合することで、気象予測における気温予測精度を向上させること。
• 場所別LSTMの隠れ状態を統合することで予測性能が向上するかどうかを調査すること。
• 複数地点の気象時系列データに空間的インダクティブバイアスを組み込んだスタックドLSTMアーキテクチャの有効性を評価すること。
• 異なる活性化関数（tanh 対 構造的活性化関数）とシーケンス長を用いたモデル性能を比較すること。
• Weather Underground などの最先端の気象予測システムと比較して、提案手法の性能をベンチマークすること。

提案手法

• モデルは2層構造のスタックドLSTMアーキテクチャを採用し、最初の層では各気象観測所ごとに独立したLSTMを訓練する。
• 最初の層で得られた全地点の隠れ状態を連結し、それを2番目のLSTM層の入力として使用する。
• 2番目の層は結合された空間的・時系列的表現を処理し、将来の気温を予測する。
• 各地点に対して別々の重み行列とバイアスを用いた標準的なLSTMセル方程式を採用する。
• マルチロケーションデータの早期統合（スタックドLSTM）と中間統合（空間的・時系列的統合）を実装する。
• 実験ではシーケンス長10を用い、5回のランダム実行でハイパーパramータを経験的に最適化し、結果の信頼性を確保する。

実験結果

リサーチクエスチョン

• RQ1 複数の気象観測所間の空間相関をLSTMベースのモデルに組み込むことで、気温予測精度が向上するか？
• RQ2 空間統合を含まない標準的なスタックドLSTMと比較して、空間的・時系列的スタックドLSTMの性能はどのように異なるか？
• RQ3 提案アーキテクチャにおいて、tanh とシグモイドのどちらの活性化関数がより優れた予測性能を示すか？
• RQ4 Weather Underground などの最先端の気象予測システムと比較して、提案モデルは競争力のある結果を達成できるか？
• RQ5 予測の先行期間（1～6日後）に応じて、予測精度はどのように変化するか？

主な発見

• 空間的・時系列的スタックドLSTMは、11月/12月のテストセットにおける最低気温予測において、標準的なスタックドLSTMと比較してMAEを最大18%低減した。
• 4月/5月のテストセットにおける1日後予測では、最高気温予測において標準的なスタックドLSTMと比較して、MAEが25%低くなった。
• 内部活性化関数としてシグモイドを用いることで、tanh よりも一貫して性能が向上し、特に空間統合が行われた場合に顕著であった。
• 両テストセットにおいて、最低気温予測でWeather Undergroundを上回り、強い競争力を持つことが示された。
• 特に予測先行期間が長い場合（例：5～6日前）に改善が顕著で、空間統合が予測の安定化に寄与した。
• 11月/12月のテストセットにおいて、1日後最低気温予測のMAE中央値は、標準的なスタックドLSTMの1.66から、空間的・時系列的スタックドLSTMでは1.43に低下した。