[論文レビュー] SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning

Cheng Tan, Zhangyang Gao+2 more|arXiv (Cornell University)|Nov 22, 2022

Domain Adaptation and Few-Shot Learning被引用数 34

ひとこと要約

tldr: SimVPv2 は、単純な CNN ベースのベースラインが、ゲート付き時空注意機構(gSTA)および Inception 的時相モジュールを組み込んだバリアントとともに、最先端の時空予測性能を達成できることを示しています。データセット間での高い効率性と一般化能力も示されています。

ABSTRACT

Recent years have witnessed remarkable advances in spatiotemporal predictive learning, with methods incorporating auxiliary inputs, complex neural architectures, and sophisticated training strategies. While SimVP has introduced a simpler, CNN-based baseline for this task, it still relies on heavy Unet-like architectures for spatial and temporal modeling, which still suffers from high complexity and computational overhead. In this paper, we propose SimVPv2, a streamlined model that eliminates the need for Unet architectures and demonstrates that plain stacks of convolutional layers, enhanced with an efficient Gated Spatiotemporal Attention mechanism, can deliver state-of-the-art performance. SimVPv2 not only simplifies the model architecture but also improves both performance and computational efficiency. On the standard Moving MNIST benchmark, SimVPv2 achieves superior performance compared to SimVP, with fewer FLOPs, about half the training time, and 60% faster inference efficiency. Extensive experiments across eight diverse datasets, including real-world tasks such as traffic forecasting and climate prediction, further demonstrate that SimVPv2 offers a powerful yet straightforward solution, achieving robust generalization across various spatiotemporal learning scenarios. We believe the proposed SimVPv2 can serve as a solid baseline to benefit the spatiotemporal predictive learning community.

研究の動機と目的

• 再帰やトランスフォーマを用いず、時空予測学習のための単純で完全畳み込みベースラインを動機付ける。
• 過去フレームをエンコードし、未来フレームへ効果的に翻訳する軽量のオートエンコーダ風アーキテクチャを示す。
• 性能を向上させつつ、トレーニングと推論を効率的に保つ二つのバリアント（gSTA と Inception-Unet）を導入する。
• 複数データセットに渡る、再帰モデルおよび CNN ベースのベースラインに対する、公平で統一された評価を提供する。

提案手法

• 過去フレームを未来フレームへ写像する、純粋な畳み込みエンコーダー-トランスレーター-デコーダーアーキテクチャを用いる。
• 複数フレーム特徴のスタック上で動作する共有時系列トランスレーターを用いて、フレームごとの空間エンコーディングを促進する。
• 2つの時空トランスレーターのバリアントを導入する： (i) multi-branch 大カーネル時相処理を備えた Inception-Unet トランスレーター；(ii) decomposed large kernels を用いてアテンションを模倣する gated spatiotemporal attention (gSTA) トランスレーター。
• 追加の工夫や敵対的戦略なしに、標準の平均二乗誤差損失でエンドツーエンド学習する。
• Moving MNIST、TaxiBJ、WeatherBench、Caltech Pedestrian、および KITTI 派生シナリオで評価し、最先端と比較して効率と精度を検証する。

実験結果

リサーチクエスチョン

• RQ1 再帰や注意トリックを用いず、単純な CNN-CNN-CNN フレームワークで時空予測性能が競争力を持てるか。
• RQ2 Inception 風の時相モジュールやゲート付き時空注意を用いたバリアントは、ベースラインより有意な精度・効率の向上を提供するか。
• RQ3 SimVPv2 は、再帰型およびトランスフォーマー基盤の手法と比べて、さまざまなデータセットと予測時間範囲でどの程度一般化するか。
• RQ4 SimVPv2 とそのバリアントの学習時間、推論速度、予測品質のトレードオフはどうなるか。

主な発見

Method	Flops (G) ↓	Training time ≈ (s) ↓	Inference efficiency ↑	MSE ↓	MAE ↓	SSIM ↑
ConvLSTM-S	14.45	190	7.50	46.26 ± 0.26	142.18 ± 0.61	0.878 ± 0.001
PhyDNet	15.33	452	4.62	35.68 ± 0.40	96.70 ± 0.29	0.917 ± 0.000
MAU	17.79	535	3.08	30.64 ± 0.10	88.17 ± 0.35	0.928 ± 0.001
SimVP+IncepU	19.43	261	27.15	32.22 ± 0.02	89.19 ± 0.33	0.927 ± 0.000
SimVP+gSTA-S	16.53	156	44.09	26.60 ± 0.02	77.32 ± 0.22	0.940 ± 0.000
ConvLSTM-L	127.01	879	6.24	29.88 ± 0.17	95.05 ± 0.25	0.925 ± 0.000
PredRNN	115.95	869	3.97	25.04 ± 0.08	76.26 ± 0.29	0.944 ± 0.000
PredRNN++	171.73	1280	3.71	22.45 ± 0.36	69.70 ± 0.25	0.950 ± 0.000
MIM	179.18	1388	3.08	23.66 ± 0.20	74.37 ± 0.46	0.946 ± 0.000
E3D-LSTM	298.87	2693	3.73	36.19 ± 0.20	78.64 ± 0.35	0.932 ± 0.000
CrevNet	270.68	1166	1.01	30.15 ± 1.61	86.28 ± 2.65	0.935 ± 0.003
PredRNNv2	116.59	899	3.49	27.73 ± 0.08	82.17 ± 0.33	0.937 ± 0.000
SimVP+gSTA-S × 10	16.53	1560	44.09	15.05 ± 0.03	49.80 ± 0.10	0.967 ± 0.000
SimVP+gSTA-S × 5	16.53	780	44.09	16.47 ± 0.02	53.24 ± 0.04	0.964 ± 0.000
SimVP+gSTA-S × 3	16.53	468	44.09	22.37 ± 0.06	67.52 ± 0.03	0.951 ± 0.000
SimVP+gSTA-L	152.20	796	21.23	21.81 ± 0.03	66.43 ± 0.04	0.952 ± 0.000

• SimVP バリアントは、Moving MNIST において最先端の再帰モデルと比較して、MSE/MAE/SSIM で競争力または優位性を示す。
• gSTA バリアントは、予測品質と推論効率の両方で強力な利得を提供し、しばしばベースラインより高い SSIM と低い MSE/MAE を達成する。
• TaxiBJ では、SimVP+gSTA が IncepU や他のベースラインより著しく改善され、交通予測タスクで有効性を示す。
• 標準ベンチマーク全体で、SimVP バリアントは再帰モデルより推論が圧倒的に速いことが多く、学習時間と推論速度のトレードオフが有利である。
• modest epochs あるいは規模を抑えたエポックで学習しても、計算コストを削減しつつ競争力のある性能を達成する。
• この手法は単純さと汎化性を強調しており、SimVPv2 を時空予測学習の強力で使いやすいベースラインとして示唆する。