[論文レビュー] SlowFast-LLaVA: A Strong Training-Free Baseline for Video Large Language Models

Mingze Xu, Mingfei Gao+6 more|arXiv (Cornell University)|Jul 22, 2024

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本論文では、微調整を必要としないトレーニングフリーな動画大規模言語モデルであるSlowFast-LLaVAを提案する。このモデルは、二重ストリーム構造のSlowFastアーキテクチャを用いて、動画フレームから高解像度の空間的詳細と動きのダイナミクスを同時に捉える。異なる時間的レートと空間的解像度でフレームを処理することで、複数の動画ベンチマークで最先端の性能を達成し、既存のトレーニングフリー手法や多くの教師あり微調整モデルを上回る。

ABSTRACT

We propose SlowFast-LLaVA (or SF-LLaVA for short), a training-free video large language model (LLM) that can jointly capture detailed spatial semantics and long-range temporal context without exceeding the token budget of commonly used LLMs. This is realized by using a two-stream SlowFast design of inputs for Video LLMs to aggregate features from sampled frames in an effective way. Specifically, the Slow pathway extracts features at a low frame rate while keeping as much spatial detail as possible (e.g., with 12x24 tokens), and the Fast pathway operates on a high frame rate but uses a larger spatial pooling stride (e.g., downsampling 6x) to focus on the motion cues. As a result, this design allows us to adequately capture both spatial and temporal features that are beneficial for detailed video understanding. Experimental results show that SF-LLaVA outperforms existing training-free methods on a wide range of video tasks. On some benchmarks, it achieves comparable or even better performance compared to state-of-the-art Video LLMs that are fine-tuned on video datasets. Code has been made available at: https://github.com/apple/ml-slowfast-llava.

研究の動機と目的

• 微調整を追加で行わず、微細な空間的詳細と長時間にわたる時間的ダイナミクスを効果的に捉えるトレーニングフリーな動画LLMの開発。
• 現在のトレーニングフリー手法が少数のフレームしか使用せず、構造的な時間的モデリングに欠けるという限界を是正すること。
• SlowFastにインspiredされた設計が、視覚言語モデルにおける動画表現学習をどのように向上させるかを調査すること。
• 事前学習済みコンponentsのみを用いて、将来的な動画LLM研究の強力で効率的なベースラインを提供すること。

提案手法

• モデルは二重ストリーム入力設計を採用：Slowパスウェイは低レートでフレームをサンプリングし、高解像度の空間的特徴を保持（例：1フレームあたり24×24トークン）。一方、Fastパスウェイは全フレームを高レートで処理し、空間的プーリングを強化（例：1フレームあたり4×4トークン）することで動きの手がかりを強調。
• フレーム特徴はCLIP-Lの視覚エンコーダーで抽出され、視覚言語アダプタを介してアライメントされた後、それぞれのSlowおよびFastパスウェイに送られる。
• Slowパスウェイは空間次元に小スライドプーリング（例：1×2）を適用し、特徴を統合しながらも空間的詳細を維持する。
• Fastパスウェイはより大きな空間的プーリングスライド（例：6×）を用い、解像度を低下させ、多数のフレームにわたる時間的ダイナミクスに注目する。
• 両パスウェイからの視覚トークンは連結され、微調整なしに事前学習済みのLLaVA-NeXT LLMに供給され、生成が行われる。
• プロンプト工学戦略が適用され、タスク固有の指示、入力構造の記述、構造化された回答フォーマットが組み込まれ、ゼロショット性能の向上が図られる。

実験結果

リサーチクエスチョン

• RQ1 入力表現設計の改善により、トレーニングフリーな動画LLMが微調整済みモデルと同等の性能を達成できるか？
• RQ2 SlowFastにインspiredされた二重ストリームアーキテクチャは、動画LLMにおける空間的・時間的特徴モデリングをどのように向上させるか？
• RQ3 トークン予算制約下で、性能を最大化するために、SlowパスウェイとFastパスウェイにおけるフレーム数と解像度の最適なバランスは何か？
• RQ4 タスク固有のプロンプトと構造化された回答フォーマットは、視覚言語モデルにおけるゼロショット動画理解をどの程度向上させるか？

主な発見

• SF-LLaVAは、Open-Ended VideoQA、Multiple Choice VideoQA、テキスト生成タスクを含む8つの多様な動画ベンチマークで、すべての既存のトレーニングフリー手法を上回る性能を発揮。
• EgoSchemaベンチマークでは、34Bモデルを用いたSF-LLaVAが55.8％の正答率を達成し、比較対象の最良の教師あり微調整モデルを上回った。
• Fastパスウェイに50フレーム（10フレーム対比）を用いることで、34BモデルでEgoSchemaで2.8％の性能向上が確認され、より高い時間的サンプリングの利点が示された。
• 構造化された回答プロンプトの導入により、7Bモデルを用いたEgoSchemaで2.8％、ActivityNet-QAで2.3％の性能向上が得られ、ゼロショット推論への影響が顕著に示された。
• タスク指示プロンプトはMultiple Choice VideoQAでは性能向上をもたらしたが、Open-Ended VideoQAでは効果が認められず、タスク依存の有効性が示された。
• 入力データプロンプト（入力をキーフレームのシーケンスとして記述）を導入することで、ActivityNet-QAおよびEgoSchemaの両方で性能向上が確認され、ゼロショット理解における価値が裏付けられた。