[論文レビュー] Video-LLaMA: An Instruction-tuned Audio-Visual Language Model for Video Understanding

Hang Zhang, Xin Li+1 more|arXiv (Cornell University)|Jun 5, 2023

Multimodal Machine Learning Applications被引用数 18

ひとこと要約

Video-LLaMA は、Vision-Language ブランチと Audio-Language ブランチを用いて、動画内の視覚・聴覚コンテンツを理解できる指示適合型マルチモーダル言語モデルであり、動画-grounded な会話を可能にする。LLM との間で動画と音声のエンコーダを整合させ、事前学習・微調整・デモ用にオープンソース化されている。

ABSTRACT

We present Video-LLaMA a multi-modal framework that empowers Large Language Models (LLMs) with the capability of understanding both visual and auditory content in the video. Video-LLaMA bootstraps cross-modal training from the frozen pre-trained visual and audio encoders and the frozen LLMs. Unlike previous works that complement LLMs to process the visual or audio signals only, Video-LLaMA enables video comprehension by tackling two challenges: (1) capturing the temporal changes in visual scenes, (2) integrating audio-visual signals. To counter the first challenge, we propose a Video Q-former to assemble a pre-trained image encoder into our video encoder and introduce a video-to-text generation task to learn video-language correspondence. For the second challenge, we leverage ImageBind, a universal embedding model aligning multiple modalities, as the pre-trained audio encoder and introduce an Audio Q-former on top of ImageBind to learn reasonable auditory query embeddings for the LLM module. To align the output of both visual and audio encoders with LLM's embedding space, we first train Video-LLaMA on massive video/image-caption pairs and then tune our model with visual-instruction datasets of moderate amount but higher quality. We found Video-LLaMA shows the ability to perceive and comprehend video content and generate meaningful responses grounded in the visual and auditory information presented in the videos.

研究の動機と目的

• 画像のみ/音声のみのアプローチを超えたエンドツーエンドの映像音響理解の必要性を動機づける。
• LLM の整合性のために視覚フレームと音声セグメントを処理するデュアルブランチアーキテクチャを提案する。
• LLMs を動画コンテンツに grounding するためのクロスモーダル事前学習と指示適合を実証する。
• 動画 ground 探査AIアシスタントの開発を促進するためのオープンソースのコード、モデルウェイト、デモを提供する。

提案手法

• 凍結された画像エンコーダ、Video Q-former、フレームレベル表現、およびLLM空間への線形射影を備えた Vision-Language ブランチを導入する。
• ImageBind を音声エンコーダとして用い、Audio Q-former およびLLM空間への線形射影を備えた Audio-Language ブランチを導入する。
• 大規模な動画キャプションデータ（WebVid-2M）および画像キャプションデータ（CC595k）で視覚言語ブランチを訓練し、動画からテキストへの事前学習を行い、その後 MiniGPT-4、LLaVA、Video-Chat などの画像/動画指示データセットで指示適合を実施する。
• 音声テキストデータが限定的であるため、視覚-テキストデータを監督として利用しつつ、音声クォーフォーマーを介して ImageBind 埋め込みをLLM空間と整列させることで音声言語ブランチを訓練する。
• 視覚言語と音声言語の整合のためのマルチブランチのクロスモーダル事前学習を採用し、その後音声-映像指示適合を実施する。

実験結果

リサーチクエスチョン

• RQ1 LLM をどのようにしてエンドツーエンドの指示に従う形式で動画の視覚・聴覚コンテンツを理解できるよう強化できるか。
• RQ2 クロスモーダルなアーキテクチャが視覚エンコーダと音声エンコーダをLLMと整列させ、動画 grounding 会話を可能にできるか。
• RQ3 動画文脈における時間的理解と音声-視覚統合の容量はどの程度か。
• RQ4 ImageBind のようなモダリティ整列スペースを使用した場合、ゼロショットで音声理解がどの程度自然に現れるか。

主な発見

Model	Static Image	Silent Video	Audio
Video-LLaMA	✓	✓	✓
BLIP2	✓
MiniGPT-4	✓
LLaVA	✓
mPLUG-Owl	✓	✓
VideoChat	✓	✓

• Video-LLaMA は動画コンテンツを認識・理解し、視覚情報と聴覚情報の両方に基づいた grounded 応答を生成できる。
• モデルは動画フレーム間の動作とシーンダイナミクスの時間的理解を示す。
• Video-LLaMA は高度な音響視覚 grounding を示し、同じ会話内で音（背景音など）や視覚情報についての質問に応答できる。
• 音声言語ブランチ は ImageBind のクロスモーダル埋め込み空間を活用して、訓練時に明示的な音声テキストデータを用いずに音声理解を達成する。
• 本研究はオープンソースのトレーニングコード、モデルウェイト、オンラインデモを提供し、より広い普及を促進する。