[論文レビュー] MS-RNN: A Flexible Multi-Scale Framework for Spatiotemporal Predictive Learning

Zhifeng Ma, Hao Zhang+1 more|arXiv (Cornell University)|Jun 7, 2022

Geographic Information Systems Studies被引用数 10

ひとこと要約

本稿では、メモリ使用量を最小限に抑えながら、RNNにおける時空間予測性能を向上させる一般化されたマルチスケール再帰ニューラルネットワークフレームワーク、MS-RNNを提案する。畳み込みとマルチリゾリューション特徴量学習によるマルチスケール受容 field の統合により、MS-RNN は最大 56.25% のメモリ使用量削減を達成しながら、8 つの RNN モデルと 4 つのデータセットで予測精度を向上させ、深さや幅を増したバージョンよりも優れた効率性と性能を示している。

ABSTRACT

Spatiotemporal predictive learning, which predicts future frames through historical prior knowledge with the aid of deep learning, is widely used in many fields. Previous work essentially improves the model performance by widening or deepening the network, but it also brings surging memory overhead, which seriously hinders the development and application of this technology. In order to improve the performance without increasing memory consumption, we focus on scale, which is another dimension to improve model performance but with low memory requirement. The effectiveness has been widely demonstrated in many CNN-based tasks such as image classification and semantic segmentation, but it has not been fully explored in recent RNN models. In this paper, learning from the benefit of multi-scale, we propose a general framework named Multi-Scale RNN (MS-RNN) to boost recent RNN models for spatiotemporal predictive learning. We verify the MS-RNN framework by thorough theoretical analyses and exhaustive experiments, where the theory focuses on memory reduction and performance improvement while the experiments employ eight RNN models (ConvLSTM, TrajGRU, PredRNN, PredRNN++, MIM, MotionRNN, PredRNN-V2, and PrecipLSTM) and four datasets (Moving MNIST, TaxiBJ, KTH, and Germany). The results show the efficiency that RNN models incorporating our framework have much lower memory cost but better performance than before. Our code is released at \url{https://github.com/mazhf/MS-RNN}.

研究の動機と目的

• 時空間予測における最先端 RNN の高いメモリ消費量が、モデルのスケーラビリティと実世界への展開を制限する問題に対処する。
• パフォーマンスとメモリ使用量のトレードオフを克服するため、性能向上に活用されにくいスケールという次元を活用する。
• アーキテクチャの大幅な見直しや顕著なパrameter増加なしに、既存の RNN を強化できる汎用的で即座に統合可能なフレームワークを開発する。
• GPU メモリ制限内でより大きな入力サイズを処理できるように、メモリフットプリントを削減することで、高解像度動画予測を可能にする。
• マルチスケール設計が受容 field と時間的記憶を向上させ、複雑な時空間ダイナミクスをより良くモデル化できることを示す。

提案手法

• 空間プーリングを用いて複数の解像度の特徴マップを生成するマルチスケールアーキテクチャを導入し、異なるスケールでのオブジェクトや動きを捉える能力を向上させる。
• 既存の RNN（例：ConvLSTM、PredRNN++）にマルチスケール特徴量を統合するため、共有または並列な RNN ユニットで処理する前に、異なるスケールからの特徴量を連結または融合する。
• 粗いものから細かいものへの予測戦略を採用し、まず低解像度のフレームを予測してから、高解像度に段階的に精緻化することで、効率性と精度の両方を向上させる。
• 理論的解析を通じて、メモリ使用量と FLOPs の削減比を形式的に分析し、理想状態では両方とも最大 56.25% の削減が理論的に保証されることを示す。
• マルチスケールコンponents で入力および隠れ状態処理モジュールを置き換えたり拡張したりすることで、さまざまな RNN バリエーションに対応できる柔軟なフレームワークを設計する。
• 4 つのデータセット（Moving MNIST、TaxiBJ、KTH、Germany）で 8 つの RNN モデル（ConvLSTM、TrajGRU、PredRNN、PredRNN++、MIM、MotionRNN、PredRNN-V2、PrecipLSTM）にこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール設計により、メモリ消費量を増加させずに RNN の時空間予測性能を向上させることができるか？
• RQ2 MS-RNN は、より深くまたは広い RNN バージョンと比較して、どの程度メモリ使用量と FLOPs を削減できるか？
• RQ3 マルチスケールアーキテクチャは受容 field と時間的記憶を向上させ、複雑な動きのパターンをより良くモデル化するのか？
• RQ4 MS-RNN は、CMS-LSTM や MoDeRNN、SimVP、Earthformer といった競合するマルチスケールモデルと比較して、精度とメモリ効率の両面で優れているか？
• RQ5 MS-RNN は、固定された GPU メモリ制限内で、既存の RNN がより高解像度の入力サイズを処理できるようにするのか？

主な発見

• MS-RNN は、ベースライン RNN と比較して、最大 56.25% のメモリ使用量削減と最大 56.25% の FLOPs 削減を達成しており、理論的解析によりこれらの上限が裏付けられている。
• Moving MNIST データセットでは、MS-PredRNN++ が MSE を 43.2% 減少させ、メモリ使用量を 15.20G から 8.18G にまで 48.7% 削減した。
• MS-MotionRNN は、メモリ使用量を 20.65G から 10.48G にまで 90.5% 削減し、MSE を 55.35 から 51.55 に改善し、37.1% のパフォーマンス向上を達成した。
• このフレームワークにより、ConvLSTM は 220×220 の画像を処理可能となったが、MS-ConvLSTM は 3.86G の低メモリで高い性能を維持しており、より大きな入力サイズが可能になった。
• すべてのデータセットで、CMS-LSTM や MoDeRNN、SimVP、Earthformer といった競合モデルと比較して、MS-RNN はメモリ効率と予測精度の両面で優れている。
• マルチスケール設計により、有効な受容 field が拡大され、粗いものから細かいものへの予測が可能になり、実験で観察された性能向上の理由が説明できるようになった。