[論文レビュー] MM-VID: Advancing Video Understanding with GPT-4V(ision)

Kevin Lin, S. Faisal Ahmed+10 more|arXiv (Cornell University)|Oct 30, 2023

Multimodal Machine Learning Applications被引用数 10

ひとこと要約

MM-Vid は GPT-4V(ision) を 専用の視覚、音声、スピーチツールと統合し、動画から長文の脚本を生成します。これにより、グラウンデッドQA、マルチモーダル推論、そして1時間長の動画および複数話構成のコンテンツに対する対話型タスクを可能にします。

ABSTRACT

We present MM-VID, an integrated system that harnesses the capabilities of GPT-4V, combined with specialized tools in vision, audio, and speech, to facilitate advanced video understanding. MM-VID is designed to address the challenges posed by long-form videos and intricate tasks such as reasoning within hour-long content and grasping storylines spanning multiple episodes. MM-VID uses a video-to-script generation with GPT-4V to transcribe multimodal elements into a long textual script. The generated script details character movements, actions, expressions, and dialogues, paving the way for large language models (LLMs) to achieve video understanding. This enables advanced capabilities, including audio description, character identification, and multimodal high-level comprehension. Experimental results demonstrate the effectiveness of MM-VID in handling distinct video genres with various video lengths. Additionally, we showcase its potential when applied to interactive environments, such as video games and graphic user interfaces.

研究の動機と目的

• 長編のマルチモーダル動画（1時間長のコンテンツおよび複数エピソードの物語）を理解する課題に対処する。
• 動画内容を長文のテキスト脚本へ変換するパイプラインを開発し、LLMによる高度な推論を可能にする。
• グラウンデッド質問応答、キャラクター/話者の識別、マルチモーダル推論を多様な動画ジャンルにわたって実現。
• ビデオゲームやGUIナビゲーションなどの対話型環境でのMM-Vid機能を示す。
• 視覚障害を持つ参加者を対象としたオーディオディスクリプション生成とユーザ研究を通じたアクセシビリティの評価。

提案手法

• 4モジュールのパイプライン：マルチモーダル前処理、外部知識収集、クリップレベルの動画記述生成、そして脚本生成。
• ASRとシーン検出を用いて動画をクリップに分割（典型的には10フレームのクリップ）。
• GPT-4Vを用いてフレームとプロンプトからクリップレベルの記述を生成し、識別を向上させるために視覚的プロンプト（キャラクターの顔写真）を使用。
• 動画メタデータとASRを用いて、クリップレベルの記述を統合し、一貫した全動画のスクリプトを生成。
• 動的環境（ゲーム、GUI）での継続的な知覚をサポートするためにストリーミングシナリオでGPT-4Vを適用。
• 初期スクリプトと要約を用いた自己リファインメントのステップを組み込み、誤りを減らす。

実験結果

リサーチクエスチョン

• RQ1 MM-Vid は1時間長の動画や複数話の動画を、どれだけ効果的に出力可能なコヒーレントで検索可能なスクリプトへ転写・記述できるか？
• RQ2 GPT-4VVベースのパイプラインは長い動画全体でグラウンデッドQA、キャラクター/話者識別、マルチモーダル推論をサポートできるか？
• RQ3 外部知識（メタデータ、タイトル、アブストラクト、顔写真） は記述品質とグラウンディングにどのような影響を与えるか？
• RQ4 MM-Vid はストリーミング/対話型文脈（ゲーム、GUIナビゲーション）およびアクセシビリティ（オーディオディスクリプション）でどれほど性能を発揮するか？

主な発見

• MM-Vid は長いクリップレベルの記述を生成し、ASRとメタデータに条件付けられたコヒーレントな全動画スクリプトを可能にする。
• システムは正確なタイムスタンプとイベント位置特定を伴うグラウンデッドQAをサポートする（例：ホームランをタイムスタンプ付きでハイライトする）。
• キャラクター顔写真を用いた視覚的プロンプトはキャラクター識別と全体的なスクリプト品質を改善する。
• MM-Vid は動画フレーム、トランスクリプト、および外部知識を用いたマルチモーダル推論を実証し、複数動画にまたがるエピソード横断分析を含む。
• MM-Vid によって生成されたオーディオディスクリプションは、提供方法、情報量、声の質において人手作成のディスクリプションに近いが、若干の重複や時に誤りがある。
• MM-Vid は対話型環境、 embodied agents、ゲームプレイ、GUIナビゲーションなど、ストリーミング入力を用いて対応可能である。