[論文レビュー] VideoChat: Chat-Centric Video Understanding

KunChang Li, Yinan He+7 more|arXiv (Cornell University)|May 10, 2023

Multimodal Machine Learning Applications被引用数 90

ひとこと要約

VideoChatは、learnable interfaceを介してビデオ基盤モデルと大規模言語モデルを結合し、時空間推論、イベントの局在化、そして動画中心の指示データによる因果推論を可能にする、2つのエンドツーエンドのチャット中心のビデオ理解システム（VideoChat-TextとVideoChat-Embed）を提示します。

ABSTRACT

In this paper, we initiate an attempt of developing an end-to-end chat-centric video understanding system, coined as VideoChat. It integrates video foundation models and large language models via a learnable neural interface, excelling in spatiotemporal reasoning, event localization, and causal relationship inference. To instructively tune this system, we build a video-centric instruction dataset, composed of thousands of videos associated with detailed descriptions and conversations. This dataset emphasizes spatiotemporal reasoning and captures causal relationships, providing a valuable asset for training our chat-centric video understanding system. Preliminary qualitative experiments demonstrate the potential of our system across a broad spectrum of video applications, which could serve as a simple prototype system for future research on chat-centric video understanding. Access our code and data at https://github.com/OpenGVLab/Ask-Anything

研究の動機と目的

• 一般的な、タスク特化型のビデオモデルを超えたチャット中心のビデオ理解システムの開発を促す。
• learnable interfacesを介してビデオ基盤モデルと大規模言語モデルを結ぶアーキテクチャを提案する。
• 対話における時空間推論と因果推論を改善する動画中心の指示データセットを作成する。
• 多回のビデオ質問応答が可能な2つのシステム変種（VideoChat-TextとVideoChat-Embed）を実証する。
• 動画表現をLLMに揃えるための、ビデオ-textおよび画像-動画データソースの両方を用いた訓練パラダイムを確立する。

提案手法

• VideoChat-Textは、認識モデルと prompting scheme を用いてビデオ内容を時刻付きのテキストストリームへ変換し、LLMを問う。
• VideoChat-Embedは、BLIP-2とStableVicuna上に構築された learnable Video-Language Token Interface (VLTF) を用いて、コンパクトなビデオ埋め込みをLLMと融合し、2段階の整合と指示微調整を行う。
• 2段階の訓練は、大規模なビデオ-テキストデータでビデオエンコーダとLLMを整合させ、次にビデオ指示データ（説明とQ&A）で微調整する。
• WebVid-10M からdense captions、ビデオ会話、Q&Aを生成することで、新規な動画中心のマルチモーダル指示データセットをChatGPTとGPT-4のプロンプトを用いて構築する。
• Perception models (action, object, captioning, subtitles) plus audio (Whisper) は、VideoChat-TextのLLMに対してビデオ内容をテキスト化するために使用される。
• 2段階の訓練パラダイムは、画像キャプションデータを活用してビデオ理解を補強し、対話タスクのために画像/動画モダリティを統一する。

実験結果

リサーチクエスチョン

• RQ1 LLMsと統合した際、完全に学習可能なエンドツーエンドのシステムは、ビデオ上の時空間知覚と推論を効果的に実行できるか。
• RQ2 テキスト化されたビデオ説明とコンパクトなビデオ埋め込みは、マルチモーダルなビデオ質問応答においてどう比較されるか。
• RQ3 動画中心の指示データセットは、動画対話タスクの時系列推論と因果推論を改善するか。
• RQ4 ビジョン基盤モデルと言語モデルをlearnable interfaceで組み合わせることで、ビデオ理解における利点とトレードオフは何か。

主な発見

• VideoChat-Embedは、Video-Language Token Interface (VLTF) とクロスアテンションベースのトークン圧縮を活用することで、時間的知覚と因果推論を改善することを示した。
• VideoChat-Textは、ビデオ内容に対する時刻付きのテキスト説明を生成でき、ビデオのテキストだけの対話のベースラインとして機能する。
• 大規模なビデオ-テキストデータと動画中心の指示を用いた2段階の訓練は、一段階の手法よりビデオ表現とLLMsの整合を向上させる。
• 定性的ケースは、VideoChat-EmbedとVideoChat-Textが、知覚と推論の側面でビデオタスクにおいて画像ベースのマルチモーダル対話システムを上回ることを示す。
• dense captionsと動画会話を用いて生成された新しい動画中心の指示データセットは、ビデオ理解における時空間推論と因果関係の学習を支援する。