[論文レビュー] Spatio-temporal Weather Forecasting and Attention Mechanism on Convolutional LSTMs.

Selim Furkan Tekin, Oğuzhan Karaahmetoğlu+3 more|arXiv (Cornell University)|Feb 1, 2021

Meteorological Phenomena and Simulations参考文献 50被引用数 23

ひとこと要約

本稿では、畳み込みLSTMとアテンション、コンテキストマッチング機構を組み合わせた新規な時空間予測モデルを提案する。このモデルは高分解能の気象予測を改善することを目的としており、ERA5の気圧面温度予測において最先端の性能を達成し、3時間ごとの10ステップ予測において平均誤差を2度に低減した。

ABSTRACT

Numerical weather forecasting on high-resolution physical models consume hours of computations on supercomputers. Application of deep learning and machine learning methods in forecasting revealed new solutions in this area. In this paper, we forecast high-resolution numeric weather data using both input weather data and observations by providing a novel deep learning architecture. We formulate the problem as spatio-temporal prediction. Our model is composed of Convolutional Long-short Term Memory, and Convolutional Neural Network units with encoder-decoder structure. We enhance the short-long term performance and interpretability with an attention and a context matcher mechanism. We perform experiments on high-scale, real-life, benchmark numerical weather dataset, ERA5 hourly data on pressure levels, and forecast the temperature. The results show significant improvements in capturing both spatial and temporal correlations with attention matrices focusing on different parts of the input series. Our model obtains the best validation and the best test score among the baseline models, including ConvLSTM forecasting network and U-Net. We provide qualitative and quantitative results and show that our model forecasts 10 time steps with 3 hour frequency with an average of 2 degrees error. Our code and the data are publicly available.

研究の動機と目的

• 従来の数値気象モデルの計算効率の低さを改善するために、深層学習を高分解能気象予測に応用すること。
• ハイブリッドエンコーダデコーダアーキテクチャを用いて、気象予測における時空間相関の学習を向上させること。
• アテンションとコンテキストマッチング機構を通じて、モデルの解釈可能性を向上させるとともに、長距離時系列依存性の捉え込みを強化すること。
• 実世界のERA5データにおいて、ConvLSTM や U-Net などのベースラインモデルと比較して優れた予測精度を達成すること。

提案手法

• モデルは、時空間特徴抽出のための畳み込み長短期記憶（ConvLSTM）ユニットに基づくエンコーダデコーダ構造を採用している。
• 入力気象データの空間特徴を処理するために、畳み込みニューラルネットワーク（CNN）部を統合している。
• 入力系列の関連する空間的・時系列的領域に動的に注目できるように、アテンション機構を適用している。
• エンコーダとデコーダの状態間の整合性を高め、長期依存性モデリングを強化するために、コンテキストマッチャ機構を導入している。
• モデルは、気温予測のためのERA5の時間分解能1時間分の気圧面データ上で、エンドツーエンドで訓練されている。
• 空間的・時系列的注目度の可視化を含む定量的指標と定性的な分析を用いて、モデルの性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 アテンション機構を備えたハイブリッドConvLSTMとCNNアーキテクチャは、標準ベースラインと比較して高分解能気象予測の精度を向上させることができるか？
• RQ2 予測過程において、アテンション機構は気象データの関連する空間的・時系列的パターンをどれほど効果的に局所化できるか？
• RQ3 コンテキストマッチャ機構は、予測タスクにおける長距離時系列依存性の学習をどの程度向上させるか？
• RQ4 提案モデルは、実世界のERA5データにおける多様な気象条件に良好に一般化できるか？
• RQ5 3時間ごとの気温予測において、モデルの性能は定量的および定性的にConvLSTM や U-Net と比較してどの程度優れているか？

主な発見

• 提案モデルは、ConvLSTM や U-Net などのすべてのベースラインモデルと比較して、最良の検証およびテストスコアを達成した。
• モデルは、3時間ごとの10ステップ予測において、気温予測タスクで平均誤差2度セルシウスを達成した。
• アテンションマトリクスは、入力系列における関連する空間的・時系列的領域を効果的に強調しており、解釈可能性と性能の向上に寄与した。
• コンテキストマッチャ機構の統合により、長期依存性モデリングが強化され、時間的相関の学習が向上した。
• 定性的な分析から、アテンション機構が前線や高気圧システムなど気象学的に意味のある天気パターンに注目していることが確認された。
• モデルは高分解能で実世界のERA5データに対して強く一般化する能力を示し、実用的応用の有効性を裏付けた。