[論文レビュー] VideoGPT+: Integrating Image and Video Encoders for Enhanced Video Understanding

Muhammad Maaz, Hanoona Rasheed+2 more|arXiv (Cornell University)|Jun 13, 2024

Human Pose and Action Recognition被引用数 7

ひとこと要約

VideoGPT+は画像エンコーダと動画エンコーダを segment-wise sampling と視覚アダプターと組み合わせて動画理解を向上させ、VCGBench、VCGBench-Diverse、MVBench、およびゼロショットQAで強力な結果を達成し、VCG+112KとVCGBench-Diverseベンチマークを導入します。

ABSTRACT

Building on the advances of language models, Large Multimodal Models (LMMs) have contributed significant improvements in video understanding. While the current video LMMs utilize advanced Large Language Models (LLMs), they rely on either image or video encoders to process visual inputs, each of which has its own limitations. Image encoders excel at capturing rich spatial details from frame sequences but lack explicit temporal context, which can be important in videos with intricate action sequences. On the other hand, video encoders provide temporal context but are often limited by computational constraints that lead to processing only sparse frames at lower resolutions, resulting in reduced contextual and spatial understanding. To this end, we introduce VideoGPT+, which combines the complementary benefits of the image encoder (for detailed spatial understanding) and the video encoder (for global temporal context modeling). The model processes videos by dividing them into smaller segments and applies an adaptive pooling strategy on features extracted by both image and video encoders. Our architecture showcases improved performance across multiple video benchmarks, including VCGBench, MVBench and Zero-shot question-answering. Further, we develop 112K video-instruction set using a novel semi-automatic annotation pipeline which further improves the model performance. Additionally, to comprehensively evaluate video LMMs, we present VCGBench-Diverse, covering 18 broad video categories such as lifestyle, sports, science, gaming, and surveillance videos. This benchmark with 4,354 question-answer pairs evaluates the generalization of existing LMMs on dense video captioning, spatial and temporal understanding, and complex reasoning, ensuring comprehensive assessment across diverse video types and dynamics. Code: https://github.com/mbzuai-oryx/VideoGPT-plus.

研究の動機と目的

• 画像エンコーダの空間的細部と動画エンコーダの時系列情報を活用するためのデュアルエンコーダー統合の動機付け。
• 細粒度な時間的動態を捉えるためのセグメント単位のサンプリングを提案。
• 画像と動画の特徴を言語空間へ射影・整合させる視覚アダプターを導入。
• 高品質で密度の高い動画説明およびQAデータ（VCG+ 112K）と多様なベンチマーク（VCGBench-Diverse）を作成し、評価を強化。

提案手法

• デュアルエンコーダーを使用：リッチな空間的特徴のための画像エンコーダ（事前学習済み）とグローバルな時間的文脈のための動画エンコーダ（事前学習済み）。
• 動画をKセグメントに分割して各セグメント内で処理するセグメント単位のサンプリングを適用。
• 視覚言語アダプター（可訓練）を介して画像および動画特徴を言語空間に射影し、2x2の適応的トークンプーリングで系列長を削減。
• 画像とセグメント単位の動画埋め込みをテキスト埋め込みと結合し、LoRAで微調整された凍結済みLarge Language Modelに入力。
• 2段階で訓練：CC-595K上で画像専用および動画専用アダプターを用いた事前学習、次に結合特徴（4K文脈）に対してLoRAでの指示系チューニング。
• VCGBench、VCGBench-Diverse、MVBench、およびゼロショットQAで評価；VCGBench/VCGBench-Diverseには16フレーム、MVBenchには8フレームを使用。

実験結果

リサーチクエスチョン

• RQ1 デュアルエンコーダー（画像＋動画）が、シングルエンコーダーのベースラインと比較して動画会話性能にどのように影響するか？
• RQ2 LLMベースの動画理解において、セグメント単位のサンプリングは一様サンプリングより時間的動態をより良く保持するか？
• RQ3 視覚言語アダプターとプーリング戦略が視覚特徴を言語モデルと整合させる際の影響は？
• RQ4 VideoGPT+バリアントは多様な動画ドメイン（VCGBench-Diverse）およびゼロショットQA設定にどれだけ一般化するか？

主な発見

方法	CI	DO	CU	TU	CO	平均
VideoGPT+ (ours)	3.27	3.18	3.74	2.83	3.39	3.28
Video-ChatGPT Maaz2023VideoChatGPT	2.40	2.52	2.62	1.98	2.37	2.38
BT-Adapter bt_adapter	2.68	2.69	3.27	2.34	2.46	2.69
VTimeLLM huang2023vtimellm	2.78	3.10	3.40	2.49	2.47	2.85
Chat-UniVi jin2023chatunivi	2.89	2.91	3.46	2.89	2.81	2.99
LLAMA-VID llamavid	2.96	3.00	3.53	2.46	2.51	2.89
Video-LLaVA video-llava	2.84	2.86	3.44	2.46	2.57	2.81
VideoChat2 li2023mvbench	3.02	2.88	3.51	2.66	2.81	2.98

• VideoGPT+は平均VCGBenchスコア3.28を達成し、従来の最先端手法を上回る。
• VCGBench-DiverseではVideoGPT+が平均2.47を達成し、空間理解と視覚的推論で顕著な向上を示す。
• MVBenchの結果は20タスクでVideoGPT+が平均58.7%となり、特定のタスク（例：Action Prediction、Moving Count、Moving Attributes）で改善を示す。
• ゼロショットQAではMSVD-QA、MSRVTT-QA、TGIF-QA、ActivityNet-QAデータセットで従来手法を上回る（例：MSVD-QA 72.4 accuracy、3.9 score）。
• アブレーションにより、デュアルエンコーダーがシングルエンコーダー構成を上回ることを示す（dual: 3.28 対 image-only 3.17 および video-only 3.20）。
• VCG+ 112Kは密な説明およびQAデータの向上されたアノテーションパイプラインによりDOとTUを改善する。