[論文レビュー] Memory In Memory: A Predictive Neural Network for Learning Higher-Order Non-Stationarity from Spatiotemporal Dynamics

Yunbo Wang, Jianjin Zhang+4 more|arXiv (Cornell University)|Nov 19, 2018

Meteorological Phenomena and Simulations参考文献 38被引用数 21

ひとこと要約

本論文は、連続する隠れ状態間の微分信号を2段階の自己更新メモリモジュールを用いて活用することで、時空間的ダイナミクスにおける高次非定常性をモデル化する新しい再帰的ニューラルネットワークアーキテクチャであるMemory In Memory（MIM）を提案する。MIMは、レーダー反射エコー予測、交通フロー予測、人体ポーズ動画生成を含む4つの多様な時空間予測タスクで最先端性能を達成し、予測精度と視覚的品質の両面でPredRNN や FRNN などの先行モデルを上回っている。

ABSTRACT

Natural spatiotemporal processes can be highly non-stationary in many ways, e.g. the low-level non-stationarity such as spatial correlations or temporal dependencies of local pixel values; and the high-level variations such as the accumulation, deformation or dissipation of radar echoes in precipitation forecasting. From Cramer's Decomposition, any non-stationary process can be decomposed into deterministic, time-variant polynomials, plus a zero-mean stochastic term. By applying differencing operations appropriately, we may turn time-variant polynomials into a constant, making the deterministic component predictable. However, most previous recurrent neural networks for spatiotemporal prediction do not use the differential signals effectively, and their relatively simple state transition functions prevent them from learning too complicated variations in spacetime. We propose the Memory In Memory (MIM) networks and corresponding recurrent blocks for this purpose. The MIM blocks exploit the differential signals between adjacent recurrent states to model the non-stationary and approximately stationary properties in spatiotemporal dynamics with two cascaded, self-renewed memory modules. By stacking multiple MIM blocks, we could potentially handle higher-order non-stationarity. The MIM networks achieve the state-of-the-art results on four spatiotemporal prediction tasks across both synthetic and real-world datasets. We believe that the general idea of this work can be potentially applied to other time-series forecasting tasks.

研究の動機と目的

• 降水量予測や交通フローなど、現実世界のプロセスにおいて顕著な複雑な高次非定常性をモデル化する課題に対処すること。
• PredRNN などのモデルで見られる単純なフォグットゲートの限界を克服し、変化するトレンドを捉えられず、ぼやけた線形外挿に基づく予測が生じる問題を解消すること。
• 隠れ状態の差分演算を有効に活用することで、非定常プロセスを段階的に定常化し、長期予測の可能性を高めること。
• 階層的メモリ構造を用いて非定常および近似的に定常な成分を明示的にモデル化することで、より正確で頑健な時空間予測を実現すること。

提案手法

• MIMブロックは、標準的なLSTMのフォグットゲートを、高次非定常性と時空間的ダイナミクスにおける近似的な定常性をモデル化する2段階の自己更新LSTMモジュールに置き換える。
• 隣接する再帰的隠れ状態間の微分信号を内部メモリモジュールの入力として使用し、元の入力信号の過剰な差分処理を避けて、時間的に変化するトレンドを捉える。
• 入力に差分処理を施す代わりに、メモリ遷移レベルで差分処理を適用することで、情報の損失を抑えつつ、ダイナミクス内の非定常多項式の次数を低減する。
• 複数のMIMブロックをスタックすることで、より複雑な非定常行動を段階的にモデル化でき、非定常プロセスを徐々に予測可能で定常的な形に変換する。
• 長期記憶を保持する標準的なLSTMセルを維持するとともに、隠れ状態の導関数に類似した変化を処理する2つの補助的再帰モジュールを導入する。
• ARIMA時系列モデルのアイデアをインspirationとし、差分処理によって非定常プロセスを定常化するが、深層学習フレームワークに内部メモリ再帰を組み合わせた応用である。

実験結果

リサーチクエスチョン

• RQ1 隠れ状態間の微分信号を活用することで、再帰的ニューラルネットワークアーキテクチャが時空間系列における高次非定常性を効果的にモデル化できるか。
• RQ2 MIMの階層的メモリ構造は、レーダー画像におけるエコーの蓄積や消散といった複雑な時間的変動トレンドのモデル化をどの程度改善するか。
• RQ3 フォグットゲートを2段階のメモリモジュールに置き換えることで、非定常時空間タスクにおける予測性能が、標準的なRNNやLSTMと比較してどの程度向上するか。
• RQ4 MIMアーキテクチャは、動画予測における線形外挿への依存を軽減し、先行モデルで一般的に見られるぼやけた効果を緩和するか。
• RQ5 MIMフレームワークは、合成データ、交通、気象、人体運動データセットを含む多様な時空間予測タスクに一般化可能か。

主な発見

• レーダー反射エコー予測タスクでは、MIMがMSE（27.8）で最低、CSIスコア（CSI-30で0.429、CSI-40で0.399、CSI-50で0.317）で最高を記録し、すべての指標でFRNN、PredRNN、Causal LSTMを上回った。
• Human3.6M人体ポーズ動画予測タスクでは、SSIMが0.790、MSEが429.9、MAEが1782.8を達成し、定量的指標と視覚的忠実度の両面でFRNN や PredRNN を上回った。
• 合成飛行数字データセットでは、優れた一般化性能と長時間予測の正確性を示し、複雑な運動パターンを効果的に捉えた。
• フレーム単位の評価では、MIMが10フレームの予測期間にわたり一貫して最高の性能を維持し、競合モデルより常に低いMSEと高いCSI値を示した。
• 分析の結果、PredRNNの80％以上のフォグットゲートが飽和しており、非定常性のモデル化が不十分であることが判明した。一方、MIMの二重メモリ機構は、変化するトレンドを効果的に捉えていた。
• 視覚的比較により、MIMはレーダーエコーの移動、変形、消散を正確に予測していたのに対し、他のモデルは複雑な空間時間的ダイナミクスを追跡できていなかった。