[論文レビュー] SimVP: Simpler yet Better Video Prediction

Zhangyang Gao, Cheng Tan+2 more|arXiv (Cornell University)|Jun 9, 2022

Human Pose and Action Recognition被引用数 5

ひとこと要約

SimVPは、畳み込みニューラルネットワーク（CNN）のみで構成され、平均二乗誤差（MSE）損失を用いてエンド・ツー・エンドに訓練される、シンプルだが最先端の動画予測モデルを提案する。補助モジュール、敵対的訓練、複雑なアーキテクチャを一切用いず、5つのベンチマークデータセットで最先端の性能を達成し、短期および長期の予測タスクにおいて優れた汎化性能、スケーラビリティ、効率性を示している。

ABSTRACT

From CNN, RNN, to ViT, we have witnessed remarkable advancements in video prediction, incorporating auxiliary inputs, elaborate neural architectures, and sophisticated training strategies. We admire these progresses but are confused about the necessity: is there a simple method that can perform comparably well? This paper proposes SimVP, a simple video prediction model that is completely built upon CNN and trained by MSE loss in an end-to-end fashion. Without introducing any additional tricks and complicated strategies, we can achieve state-of-the-art performance on five benchmark datasets. Through extended experiments, we demonstrate that SimVP has strong generalization and extensibility on real-world datasets. The significant reduction of training cost makes it easier to scale to complex scenarios. We believe SimVP can serve as a solid baseline to stimulate the further development of video prediction. The code is available at \href{https://github.com/gaozhangyang/SimVP-Simpler-yet-Better-Video-Prediction}{Github}.

研究の動機と目的

• シンプルで完全にCNNベースのモデルが、複雑なアーキテクチャや訓練テクニックを用いずに動画予測で最先端の性能を達成できるかを調査すること。
• 今後の動画予測研究のための強力で理解しやすく、スケーラブルなベースラインを確立すること。
• 最小限の設計が長期予測および実世界の動画予測シナリオにおいて効果的で汎化可能かどうかを評価すること。
• モデルの性能に寄与する個々のコンponent（エンコーダ、トランスレーター、デコーダ）の寄与度を理解すること。

提案手法

• モデルのアーキテクチャは、標準的な畳み込みブロックから構成されるCNN-CNN-CNNフレームワークに従い、エンコーダ、時間的トランスレーター、デコーダから構成される。
• エンコーダは、入力フレームから空間特徴を抽出するために $N_s$ 個の ConvNormReLU ブロックを用いる。
• トランスレーターは、$T$ フレームの時間的変化をモデル化するために $N_t$ 個のインセプション風モジュールを採用し、空間次元 $(H,W)$ における $T \times C$ チャネルを処理する。
• デコーダは、潜在特徴から将来のフレームを再構築するために $N_s$ 個の unConvNormReLU ブロックを用いる。
• モデル全体は、敵対的訓練、知識蒸留、光流速度の監督を一切用いずに、MSE損失のみでエンド・ツー・エンドに訓練される。
• アブレーションスタディでは、グループ正規化、グループ畳み込み、スキップ接続、カーネルサイズなどのアーキテクチャ的要因の影響が検証される。

実験結果

リサーチクエスチョン

• RQ1 MSE損失のみで訓練されるシンプルなCNNベースのモデルが、複雑なアーキテクチャを上回る性能を発揮できるか？
• RQ2 エンコーダ、トランスレーター、デコーダの相対的な性能寄与度はどの程度か？
• RQ3 カーネルサイズ、グループ正規化、スキップ接続といったアーキテクチャ的選択が性能と汎化性能に与える影響は？
• RQ4 SimVPは長期予測および実世界のデータセットに対しても十分に汎化できるか？

主な発見

• SimVPは、KTH、Moving MNIST、TrafficBJ、Human3.6M、KTHを含む5つのベンチマークデータセットで最先端の性能を達成し、PSNRとSSIMの両面で顕著な向上を示した。
• KTHデータセットでは、10→20フレーム予測において33.72 dBのPSNRと0.905のSSIMを達成し、先行SOTAを11.8%のPSNR向上で上回った。
• KTHデータセットにおける10→40フレーム予測では、32.93 dBのPSNRと0.886のSSIMを達成し、長時間にわたるシーケンスでも性能劣化が最小限に抑えられた。
• アブレーションスタディの結果、グループ畳み込みが最も影響力の大きいアーキテクチャ的要因であり、次にグループ正規化、スキップ接続が続くことが判明した。
• トランスレーターは主に物体の位置とコンテンツの予測を担当し、デコーダはフォアグラウンドの形状を精緻化し、エンコーダはスキップ接続により背景の誤差を低減する。
• SimVPは訓練コストを顕著に削減しながらも高い性能を維持しており、スケーラブルで強力なベースラインとして非常に適している。