[論文レビュー] Video Prediction Transformers without Recurrence or Convolution

Yujin Tang, Qi Lü+3 more|arXiv (Cornell University)|Oct 7, 2024

Robotics and Automated Systems被引用数 8

ひとこと要約

論文はPredFormerを導入します。これはCNNベースの手法よりも高い効率性を持つ純粋なトランスフォーマーベースの時空予測フレームワークで、Moving MNIST、TaxiBJ、WeatherBenchのデータセットで収束速度を含めて優位性を示します。

ABSTRACT

Video prediction has witnessed the emergence of RNN-based models led by ConvLSTM, and CNN-based models led by SimVP. Following the significant success of ViT, recent works have integrated ViT into both RNN and CNN frameworks, achieving improved performance. While we appreciate these prior approaches, we raise a fundamental question: Is there a simpler yet more effective solution that can eliminate the high computational cost of RNNs while addressing the limited receptive fields and poor generalization of CNNs? How far can it go with a simple pure transformer model for video prediction? In this paper, we propose PredFormer, a framework entirely based on Gated Transformers. We provide a comprehensive analysis of 3D Attention in the context of video prediction. Extensive experiments demonstrate that PredFormer delivers state-of-the-art performance across four standard benchmarks. The significant improvements in both accuracy and efficiency highlight the potential of PredFormer as a strong baseline for real-world video prediction applications. The source code and trained models will be released at https://github.com/yyyujintang/PredFormer.

研究の動機と目的

• 時空予測学習のための再帰なし、純粋なトランスフォーマー方式を動機付ける。
• 空間的・時間的トランスフォーマーファクタリゼーションとインタリーブ設計を体系的に分析する。
• 9つのPredFormer variantを開発し、多様なデータセットでその性能を評価する。
• CNNベースのモデルに対して複数のベンチマークで最先端の精度と効率を示す。

提案手法

• パッチ埋め込みと2D時空サインカ位置エンコーディングを備えた純粋なトランスフォーマーアーキテクチャを採用する。
• MSAとSwiGLUベースのFFNを組み合わせたGated Transformer Blocks (GTB) を導入し、効果的な時空モデリングを実現する。
• 完全なアテンションエンコーダ、空間優先と時間優先の因子化エンコーダ、6つのインタリーブ設計を探索して9つのバリアントを形成する。
• 固定深度で複数のGTBベースPredFormer構成を提供し、公正なパラメータ比較を可能にする。
• 精度はMSE/MAE/RMSE/SSIMで評価し、効率はFPS/パラメータ/ FLOPsで評価する。

実験結果

リサーチクエスチョン

• RQ1 再帰または畳み込みなしで、純粋なトランスフォーマーアーキテクチャが時空依存性を効果的に学習できるか。
• RQ2 空間アテンションと時間アテンションのファクタリゼーションおよびインタリーブが、異なるデータセットでどのように性能に影響するか。
• RQ3 様々なPredFormer構成の精度と効率のトレードオフはどうなるか。
• RQ4 長期予測と短期予測タスクにおいて、インタリーブ設計は完全アテンションおよびファクタライズエンコーダよりも堅牢な利得をもたらすか。

主な発見

• PredFormerのバリアントは、Moving MNIST、TaxiBJ、WeatherBenchの各データセットで既存手法と比べて最先端の性能を達成している。
• Moving MNISTでは、パッチサイズ4で2000エポック訓練した場合、SimVPに対してMSEを51.3%低減した。
• TaxiBJでは、MSEを33.1%低減し、FPSを533から2364へ向上させた。
• WeatherBenchでは、MSEを11.1%低減し、FPSを196から404へ向上させた。
• インタリーブ型は完全アテンションおよびファクタライズエンコーダより一貫して優れた性能を示し、Triplet-TSTおよびQuadruplet-TSSTが異なる設定でしばしば最高結果を出す。
• Fac-T-Sモデルはパラメータが少ない（5.3M）にもかかわらず強力な性能を発揮し、CNNベースのベースラインを打ち負かしつつ、最大FPSが404に達する顕著な効率向上を示す。