[論文レビュー] Valley: Video Assistant with Large Language model Enhanced abilitY

Ruipu Luo, Ziwang Zhao+7 more|arXiv (Cornell University)|Jun 12, 2023

Multimodal Machine Learning Applications被引用数 30

ひとこと要約

Valleyは、動画、画像、言語を単純なプロジェクションブリッジで統合するマルチモーダル基盤モデルで、動画を基盤とした指示に従う能力と大規模言語モデルのバックボーンを用いた対話を可能にします。100k本の動画指示データセットを用いた2段階の事前学習と指示チューニングのパイプラインを採用しています。

ABSTRACT

Large Language Models (LLMs), with remarkable conversational capability, have emerged as AI assistants that can handle both visual and textual modalities. However, their effectiveness in joint video and language understanding has not been extensively explored. In the paper, we introduce Valley, a multi-modal foundation model that is designed to enable enhanced video comprehension and instruction-following capabilities. To this end, we construct two datasets, namely Valley-702k and Valley-instruct-73k, to cover a diverse range of video-text alignment and video-based instruction tasks, such as multi-shot captions, long video descriptions, action recognition, causal inference, etc. Then, we adopt ViT-L/14 as the vision encoder and explore three different temporal modeling modules to learn multifaceted features for enhanced video understanding. In addition, we implement a two-phase training approach for Valley: the first phase focuses solely on training the projection module to facilitate the LLM's capacity to understand visual input, and the second phase jointly trains the projection module and the LLM to improve their instruction following ability. Extensive experiments demonstrate that Valley has the potential to serve as an effective video assistant, simplifying complex video-understanding scenarios. Our code and data are published anonymously at https://github.com/valley-vl/Valley.

研究の動機と目的

• タスク固有のモデルを超えた、一般的な動画基盤マルチモーダル理解の必要性を動機づける。
• Valleyを、投影層で橋渡しされた動画–画像–言語基盤モデルとして提案する。
• マルチタスクの動画理解を訓練する高品質な、ChatGPT支援の指示データセットを作成する。
• 視覚言語整合性のための2段階訓練パイプライン（投影前訓練、次に共同ファインチューニング）を採用する。
• Valleyの動画QAおよびキャプショニングのベンチマークでのゼロショット最先端性能を示す。

提案手法

• 視覚エンコーダとしてViT-L/14 (CLIP) を用い、フレーム特徴を抽出する。
• 時系列情報を集約する3つの提案構造（v1, v2, v3）を備えた時系列モデリングモジュールを導入する。
• LLM（Stable-Vicuna）に入力する前に、シンプルな投影層を介して視覚特徴と言語を橋渡しする。
• ChatGPT支援のプロンプトを含む100k動画指示データセットを構築し、詳細な説明、対話、複雑な推論をカバーする。
• 2段階訓練： (1) 画像-テキストおよび動画-テキスト対の投影モジュールを事前訓練； (2) 投影とLLMを234kの画像/動画指示データでエンドツーエンドのファインチューニング。
• ValleyをゼロショットおよびFew-shot設定で、複数の動画QAおよびマルチモーダル benchmarks で評価する。

実験結果

リサーチクエスチョン

• RQ1 単一のマルチモーダル基盤モデルは、動画・画像・言語を理解し、自然言語で対話することができるのか。
• RQ2 単純な投影ブリッジで視覚特徴をLLMに整列させ、堅牢な動画基盤指示追従を実現できるのか。
• RQ3 Valleyは、ゼロショットおよびFew-shotの動画QA・キャプショニング・マルチモーダル推論で、最先端のベースラインと比べてどうなのか。
• RQ4 長尺動画と短尺動画の理解に対する異なる時系列モデリング戦略の影響は何か。

主な発見

• Valleyは報告された方法の中でMSVD-QA、MSRVTT-QA、ActivityNet-QAベンチマークにおけるゼロショット最先端の性能を達成。
• Valley-v3は長尺動画（MSRVTT-QAおよびActivityNet-QA）で優れ、Valley-v1は短尺動画（MSVD-QA）で最高のパフォーマンスを示す。
• 動画ベースの生成ベンチマークで、Valley-v3は正確さ・文脈理解・時系列理解・一貫性の点でリード。
• ValleyはScienceQAで競合的なチェーン・オブ・ソートを示し、特定の設定ではGPT-3.5を上回ることもある。
• 提案された3つの時系列モデリングの変種は時系列情報を効果的に捉え、特に長いシーケンスでv3の利点を示す。