[論文レビュー] PG-Video-LLaVA: Pixel Grounding Large Video-Language Models

Shehan Munasinghe, R. Thushara+5 more|arXiv (Cornell University)|Nov 22, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

PG-Video-LLaVAは、ピクセル単位のグランドティングを備えた最初の動画ベースの大型多モodalモデルであり、音声トランスクリプトと新規のトラッキングベースのグランドティングモジュールを統合して、自然言語の指示に応じて物体を局所化する。オープンソースのVicunaを用いて再現可能な評価を実施し、動画グランドティングおよびゼロショット質疑応答ベンチマークで最先端の性能を達成した。

ABSTRACT

Extending image-based Large Multimodal Models (LMMs) to videos is challenging due to the inherent complexity of video data. The recent approaches extending image-based LMMs to videos either lack the grounding capabilities (e.g., VideoChat, Video-ChatGPT, Video-LLaMA) or do not utilize the audio-signals for better video understanding (e.g., Video-ChatGPT). Addressing these gaps, we propose PG-Video-LLaVA, the first LMM with pixel-level grounding capability, integrating audio cues by transcribing them into text to enrich video-context understanding. Our framework uses an off-the-shelf tracker and a novel grounding module, enabling it to spatially localize objects in videos following user instructions. We evaluate PG-Video-LLaVA using video-based generative and question-answering benchmarks and introduce new benchmarks specifically designed to measure prompt-based object grounding performance in videos. Further, we propose the use of Vicuna over GPT-3.5, as utilized in Video-ChatGPT, for video-based conversation benchmarking, ensuring reproducibility of results which is a concern with the proprietary nature of GPT-3.5. Our framework builds on SoTA image-based LLaVA model and extends its advantages to the video domain, delivering promising gains on video-based conversation and grounding tasks. Project Page: https://github.com/mbzuai-oryx/Video-LLaVA

研究の動機と目的

• 既存の動画ベースLMMに存在する視覚的グランドティングの欠如を解消し、応答における正確な物体局所化を可能にする。
• 音声信号のトランスクリプトを統合することで動画理解を向上させ、多モーダル会話における文脈を強化する。
• ベンチマーク評価において特許権のあるGPT-3.5に代えてオープンソースのVicunaを用いることで、動画会話モデルの再現可能性を確保する。
• 将来的なグランドティング技術の統合を想定した、空間的グランドティングに適したモジュラーフレームワークを構築する。
• プロンプトベースの動画言語モデルにおけるオブジェクトグランドティングを評価することを目的とした、新規のベンチマークを導入する。

提案手法

• カメラの視点が一貫した動画クリップからの時空間的特徴を統合することで、画像ベースのSoTA LLaVAモデルを動画に拡張する。
• 市販のオブジェクトトラッカーを用いて、フレーム間でのオブジェクト局所化を維持し、視覚的セグメントを会話的要素に関連付ける。
• テキストによる指し示し表現を動画フレーム内のピクセル単位のバウンディングボックスにマッピングする新規グランドティングモジュールを導入する。
• 音声をトランスクリプト化したテキストを処理し、視覚的およびテキスト的入力を統合することで、動画の文脈理解を豊かにする。
• 評価にVicuna-13b-v1.5を生成用LLMとして用い、特許権のあるモデルに代わる透明性と再現可能性を確保する。
• 将来的なグランドティングや音声処理モジュールとの即座統合を可能にするモジュラーパイプラインアーキテクチャを設計する。

実験結果

リサーチクエスチョン

• RQ1 動画ベースのLMMは、自然言語の指示に応じて正確にピクセル単位のオブジェクトグランドティングを達成できるか？
• RQ2 音声トランスクリプトの統合は、多モーダル会話における動画理解とグランドティング精度をどのように向上させるか？
• RQ3 GPT-3.5のような特許権のあるモデルに代わって、VicunaのようなオープンソースLLMをベンチマーク評価に用いることで、信頼性を損なわずに行えるか？
• RQ4 提案されたグランドティングモジュールは、既存の手法に比べて、動画グランドティングおよび質問応答ベンチマークでどの程度優れているか？
• RQ5 PG-Video-LLaVAのモジュラーデザインは、視覚的グランドティング分野における将来的な進歩との統合や適応性をどの程度支援するか？

主な発見

• PG-Video-LLaVAはゼロショット動画質問応答ベンチマークで最先端の性能を達成し、Video-ChatGPT、Video-LLaMA、FrozenBiLM、Video Chatを上回った。
• VidSTGおよびHC-STVGベンチマークにおいて、PG-Video-LLaVAは優れた空間的グランドティング精度を示し、定量的結果では参照されたオブジェクトに正確なマスクオーバーレイがなされていることが確認された。
• 音声トランスクリプトの統合により、複雑なシーンにおける理解が顕著に向上した。図5では、音声を統合しないモデルが重要な詳細を捉えられていないことが示された。
• Vicuna-13b-v1.5を評価に用いることで、GPT-3.5-Turboのような特許権のあるモデルに起因する制限を克服し、再現可能性と透明性を確保した。
• モジュラーデザインにより、他のグランドティングモジュールとのシームレスな統合が可能であり、視覚的グランドティング技術の将来的な強化をサポートした。
• 定性的な例（図1）では、自然言語プロンプトに応じてテニスラケットや人物のオブジェクトが正しく局所化されたことが検証された。