[論文レビュー] CMS-LSTM: Context Embedding and Multi-Scale Spatiotemporal Expression LSTM for Predictive Learning

Zenghao Chai, Zhengzhuo Xu+3 more|arXiv (Cornell University)|Feb 6, 2021

Hydrological Forecasting Using AI被引用数 4

ひとこと要約

本稿では、反復的文脈相互作用を可能にするコンテキストエンベッディング（CE）ブロックと、微細なスケールの特徴表現を可能にするマルチスケールスパatiotemporal表現（SE）ブロックを備えた、新しい時空間再帰ネットワークであるCMS-LSTMを提案する。これらのモジュールをConvLSTMに統合することで、Moving MNISTおよびトウフウ予測ベンチマークにおいて、パrameter数を減らしながら最先端の性能を達成し、PSNR、SSIMを向上させ、MSEおよびMAEを低減した。

ABSTRACT

Spatiotemporal predictive learning (ST-PL) is a hotspot with numerous applications, such as object movement and meteorological prediction. It aims at predicting the subsequent frames via observed sequences. However, inherent uncertainty among consecutive frames exacerbates the difficulty in long-term prediction. To tackle the increasing ambiguity during forecasting, we design CMS-LSTM to focus on context correlations and multi-scale spatiotemporal flow with details on fine-grained locals, containing two elaborate designed blocks: Context Embedding (CE) and Spatiotemporal Expression (SE) blocks. CE is designed for abundant context interactions, while SE focuses on multi-scale spatiotemporal expression in hidden states. The newly introduced blocks also facilitate other spatiotemporal models (e.g., PredRNN, SA-ConvLSTM) to produce representative implicit features for ST-PL and improve prediction quality. Qualitative and quantitative experiments demonstrate the effectiveness and flexibility of our proposed method. With fewer params, CMS-LSTM outperforms state-of-the-art methods in numbers of metrics on two representative benchmarks and scenarios. Code is available at https://github.com/czh-98/CMS-LSTM.

研究の動機と目的

• 長期的な時空間系列予測における不確実性の増大とぼやけた詳細の問題に取り組む。
• 入力フレームと隠れ状態表現の相関を向上させ、長時間系列にわたる時空間的一致性を維持する。
• 顕著な変化を表現しながら、無視できる領域を抑圧することで、微細なスケールの時空間ダイナミクスを捉える。
• 既存の時空間モデルに統合可能なモジュラーコンponent（CEおよびSEブロック）を設計し、性能を向上させる。
• 提案されたモジュールの有効性と汎用性を、多様なデータセットおよびアーキテクチャ上で実証する。

提案手法

• 入力と隠れ状態の間の文脈相互作用を強化するために、スタックされた軽量CNNレイヤーを用いた反復的再重み付けを実行するコンテキストエンベッディング（CE）ブロックを導入する。
• 自己アテンションを用いて3つの空間スケールで特徴を抽出するマルチスケールスパティオトロピカル表現（SE）ブロックを実装し、動的領域を強調するとともに、静的または重要でない領域を抑圧する。
• CEおよびSEブロックを変更されたConvLSTMアーキテクチャに統合し、CEブロックはLSTMゲートの前に入力および隠れ状態を処理し、SEブロックは最終出力状態を精緻化する。
• 3段階の処理フローを採用する：(1) CEブロックが入力および文脈状態を精緻化し、(2) 標準的なLSTMゲートが候補セル状態および隠れ状態を計算し、(3) SEブロックがマルチスケールアテンションを用いて最終出力を強化する。
• 訓練の安定化と勾配の流れの改善を図るため、CEおよびSEブロックに残差接続と正規化を適用する。
• アーキテクチャの大規模な見直しを必要とせずに、PredRNNやSA-ConvLSTMなどの他のモデルにCEおよびSEブロックを容易に統合できるモularityを確保する。

実験結果

リサーチクエスチョン

• RQ1 入力と隠れ状態の間の反復的文脈相互作用は、長期的な時空間予測精度を向上させるか？
• RQ2 潜在状態におけるマルチスケール特徴表現は、系列内の微細な動的変化のモデリングを向上させるか？
• RQ3 CEおよびSEブロックは、標準的なConvLSTMと比較して、予測フレームの不確実性とぼやけ具合をどの程度低減するか？
• RQ4 CEおよびSEモジュールは、他のSOTA時空間モデルに効果的に移植可能であり、それらの性能を向上させるか？
• RQ5 SEブロックの異なる構成（例：1スケール対3スケール）は、予測品質および頑健性にどのように影響するか？

主な発見

• CMS-LSTMは、Moving MNISTおよびトウフウ予測データセットの両方で最先端の性能を達成し、Moving MNISTではPSNRが21.955、トウフウデータセットでは28.891を記録し、ベースラインのConvLSTMと比較してそれぞれ+3.432 dBおよび+2.538 dBの向上を示した。
• アブレーションスタディの結果、CEブロックを削除すると、Moving MNISTではPSNRが3.432 dB低下し、トウフウデータセットでも2.538 dB低下することが確認され、文脈相互作用の重要性が明確になった。
• 3スケールSEブロックが最良の性能を示し、ベースラインと比較して、Moving MNISTではMSEを36.8、トウフウデータセットでは4.16低減した。これはマルチスケールモデリングの重要性を示している。
• PredRNNおよびSA-ConvLSTMに移植した場合、CEおよびSEブロックは一貫して性能を向上させ、PSNRでは最大+3.607 dBおよび+1.227 dBの向上を達成した。これは、汎用性の高さを裏付けた。
• SOTA手法と比較してパrameter数を減らしながら優れた結果を達成したため、複雑な時空間ダイナミクスを捉える際のパラメータ効率性が向上したと示唆された。
• 定性的な結果では、特に高動的変化領域において、より明確な動きの詳細とぼやけの少ない予測フレームが得られ、特徴表現の向上が確認された。