[論文レビュー] VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding

Boqiang Zhang, Kehan Li+13 more|ArXiv.org|Jan 22, 2025

Advanced Image and Video Retrieval Techniques被引用数 4

ひとこと要約

VideoLLaMA3は、画像と動画理解のための視覚中心マルチモーダル基盤モデルであり、高品質な画像テキストデータと視覚中心のアーキテクチャを強調した4段階パイプラインで訓練されている。

ABSTRACT

In this paper, we propose VideoLLaMA3, a more advanced multimodal foundation model for image and video understanding. The core design philosophy of VideoLLaMA3 is vision-centric. The meaning of "vision-centric" is two-fold: the vision-centric training paradigm and vision-centric framework design. The key insight of our vision-centric training paradigm is that high-quality image-text data is crucial for both image and video understanding. Instead of preparing massive video-text datasets, we focus on constructing large-scale and high-quality image-text datasets. VideoLLaMA3 has four training stages: 1) Vision Encoder Adaptation, which enables vision encoder to accept images of variable resolutions as input; 2) Vision-Language Alignment, which jointly tunes the vision encoder, projector, and LLM with large-scale image-text data covering multiple types (including scene images, documents, charts) as well as text-only data. 3) Multi-task Fine-tuning, which incorporates image-text SFT data for downstream tasks and video-text data to establish a foundation for video understanding. 4) Video-centric Fine-tuning, which further improves the model's capability in video understanding. As for the framework design, to better capture fine-grained details in images, the pretrained vision encoder is adapted to encode images of varying sizes into vision tokens with corresponding numbers, rather than a fixed number of tokens. For video inputs, we reduce the number of vision tokens according to their similarity so that the representation of videos will be more precise and compact. Benefit from vision-centric designs, VideoLLaMA3 achieves compelling performances in both image and video understanding benchmarks.

研究の動機と目的

• 画像と動画理解のためのモダリティ全般モデル構築における視覚中心アプローチの動機付け。
• 大規模な動画テキストデータよりも高品質な画像テキストデータを優先する訓練パイプラインの開発。
• 可変解像度の画像を扱い、動画表現を効率的に適応する視覚エンコーダとフレームワークの設計。
• 下流タスクと動画理解を支援するための共同な視覚言語整列とマルチタスク微調整の有効化。
• 視覚中心設計を通じて画像および動画理解ベンチマークでの性能向上を実証。

提案手法

• 画像の可変解像度を受け入れ、それに対応する視覚トークンを生成する視覚エンコーダの適応。
• 多様なタイプの大規模画像テキストデータとテキストのみデータを用いて視覚エンコーダ、プロジェクタ、LLMを同時に調整する視覚言語整列。
• 下流タスク用の画像テキストSFTデータと動画理解の基盤を種付けする動画テキストデータを組み合わせたマルチタスク微調整。
• 動画理解能力をさらに向上させる動画中心の微調整。
• 画像を可変数の視覚トークンへエンコードし、類似度に基づいて動画トークンを削減して、正確でコンパクトな動画表現を得るトークナイゼーション戦略。

実験結果

リサーチクエスチョン

• RQ1 高品質な画像テキストデータを用いた視覚中心トレーニングパラダイムは、画像と動画の理解の両方を改善できるのか。
• RQ2 画像の可変解像度へ視覚エンコーダを適応させることは下流の性能にどう影響するのか。
• RQ3 共同視覚言語整列、マルチタスク微調整、および動画中心の微調整はマルチモーダル理解にどのような影響を与えるのか。
• RQ4 トークンレベルの適応（可変視覚トークン）は、細粒度の画像とコンパクトな動画表現に有益か。
• RQ5 画像テキストの事前訓練とターゲットを絞った動画微調整は、画像と動画のベンチマークで競争力のある結果を生むのか。

主な発見

• VideoLLaMA3は、画像と動画理解の両方において画像テキストデータを重視する4段階の訓練プロセスを採用している。
• フレームワークは、可変解像度の画像に適応した視覚エンコーダと、微細な画像ディテールを捉える動的視覚トークン戦略を使用している。
• 共同の視覚言語整列は、さまざまな画像テキストデータとテキストのみデータを用いて視覚エンコーダ、プロジェクタ、LLMを調整する。
• マルチタスクと動画中心の微調整は、動画理解の基盤を確立し、動画入力の能力を向上させる。
• 視覚中心の設計は、画像および動画理解ベンチマークで説得力のある性能を示す。