[論文レビュー] Side4Video: Spatial-Temporal Side Network for Memory-Efficient Image-to-Video Transfer Learning

Huanjin Yao, Wenhao Wu+1 more|arXiv (Cornell University)|Nov 27, 2023

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

Side4Videoは、バックボーンを逆誤差伝搬しないで、大規模な凍結画像モデル（例：ViT-E、4.4Bパラメータ）を動画理解タスクに効率的に転送するメモリ効率の良い空間時空間サブネットワークを導入する。マルチレベル特徴量と最適化されたコンponents（メモリ効率の良い時空間畳み込み、[CLS]トークンシフト）を活用することで、アダプタベースの手法と比較して75%のメモリ削減を達成し、複数の動画ベンチマークで最先端の性能を示す。特に、Something-Something V2では74.6%の正確度、VATEXでは68.8%を達成する。

ABSTRACT

Large pre-trained vision models achieve impressive success in computer vision. However, fully fine-tuning large models for downstream tasks, particularly in video understanding, can be prohibitively computationally expensive. Recent studies turn their focus towards efficient image-to-video transfer learning. Nevertheless, existing efficient fine-tuning methods lack attention to training memory usage and exploration of transferring a larger model to the video domain. In this paper, we present a novel Spatial-Temporal Side Network for memory-efficient fine-tuning large image models to video understanding, named Side4Video. Specifically, we introduce a lightweight spatial-temporal side network attached to the frozen vision model, which avoids the backpropagation through the heavy pre-trained model and utilizes multi-level spatial features from the original image model. Extremely memory-efficient architecture enables our method to reduce 75% memory usage than previous adapter-based methods. In this way, we can transfer a huge ViT-E (4.4B) for video understanding tasks which is 14x larger than ViT-L (304M). Our approach achieves remarkable performance on various video datasets across unimodal and cross-modal tasks (i.e., action recognition and text-video retrieval), especially in Something-Something V1&V2 (67.3% & 74.6%), Kinetics-400 (88.6%), MSR-VTT (52.3%), MSVD (56.1%) and VATEX (68.8%). We release our code at https://github.com/HJYao00/Side4Video.

研究の動機と目的

• 大規模な事前学習済み画像モデルを動画理解タスクに微調整する際の高い計算コストとメモリ使用量を低減すること。
• ViT-E（4.4Bパラメータ）のような非常に大きなビジョンモデルを、完全な微調整が不可能な動画タスクに効率的に転送できることを実現すること。
• 凍結されたビジョントランスフォーマーバックボーンを逆誤差伝搬しないことで、パrameter効率の良い微調整におけるメモリ使用量を削減すること。
• 時間的推論を向上させつつメモリフットプリントを最小限に抑えるために、アーキテクチャ的コンponentsを探索・最適化すること。
• 大規模な凍結画像モデルを用いて、単モodal（行動認識）およびクロスモーダル（テキスト-動画検索）の両方の動画ベンチマークで最先端の性能を示すこと。

提案手法

• 凍結されたビジョントランスフォーマーバックボーンに、マルチレベルの空間的特徴量を入力する軽量な空間時空間サブネットワークを接続する。
• サブネットワークは、時空間畳み込み、空間自己注意機構、およびフィードフォワードネットワークを組み合わせた分割型空間時空間モジュールを用い、動画表現を学習する。
• [CLS]トークンをサブネットワークから削除し、メモリ効率の良い時空間畳み込みを適用し、[CLS]トークンシフトを用いることで、メモリ効率を向上させる。
• 特徴量の統合は、ViTエンコーダーの各2層ごとに特徴量を統合するインターバルベースの戦略を採用し、表現学習を向上させる。
• 最終的な動画表現は、グローバル平均プーリング（GAP）を用いて得られ、性能とメモリ効率のバランスが最良である。
• モデルの複雑さとメモリ使用量は、サブネットワークの層数（l）と隠れ次元（d）を調整することで制御され、メモリ制約下では、より深いlよりも高いdが好ましい。

実験結果

リサーチクエスチョン

• RQ1 ViT-E（4.4Bパラメータ）のような大規模な凍結画像モデルを、完全な微調整なしに動画理解タスクに効果的かつ効率的に転送できるか？
• RQ2 重い事前学習済みViTバックボーンを逆誤差伝搬しないことで、微調整におけるメモリ消費量を低減できるか？
• RQ3 サブネットワークのアーキテクチャ的選択（特徴量統合戦略、時空間モジュールの種別、表現集約方法）の中で、性能を向上させつつメモリ使用量を最小限に抑える要因は何か？
• RQ4 ViT-Lと比較して、ViT-Eにスケーリングすることで、動画ベンチマークにおける性能が顕著に向上するか？
• RQ5 凍結モデルを通過する勾配フローを回避するサブネットワーク設計でも、多様な動画タスクで最先端の結果を達成できるか？

主な発見

• Side4Videoは、アダプターベースの手法と比較して、GPUメモリ使用量を75%削減し、ViT-Eのような大規模モデルの動画タスクにおける効率的な微調整を可能にする。
• Something-Something V2では、74.6%のトップ-1正確度を達成し、前人最高より2.2%の正確度向上を達成しながら、75%のメモリ削減を実現した。
• MSR-VTTにおけるテキスト-動画検索では、52.3%のRecall@1を達成し、CLIP4Clipを1.1%上回り、メモリ使用量も30%削減した。
• ViT-E/14（ViT-L/14の14.5倍のサイズ）を用いた場合、MSVD（56.1%）およびVATEX（68.8%）で新記録を樹立し、それぞれ前人最高を4.3%および2.2%上回った。
• アブレーションスタディの結果、2層おきの特徴量統合（インターバルベース）は、トップ層統合よりも0.7%の正確度向上を示し、GAPベースの表現は最小限のメモリコストで最良の性能を達成した。
• 同等のメモリ制約下では、層数（l）を増やすよりも隠れ次元（d）を増やすことが、より効果的であり、4層・320次元のモデルは12層・128次元のモデルを上回った。