[論文レビュー] Chat-UniVi: Unified Visual Representation Empowers Large Language Models with Image and Video Understanding

Peng Jin, Ryuichi Takanobu+3 more|arXiv (Cornell University)|Nov 14, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Chat-UniVi は、動的視覚トークンとマルチスケール表現を活用することで、単一のフレームワーク内で画像と動画を統合的に理解できる統合型ビジョン・言語モデルを提案する。DPC-KNNクラスタリングに基づくトークン統合戦略を採用し、画像と動画の混合データセットで訓練することで、アーキテクチャの変更なしに、画像または動画に特化したモデルを上回る最先端の性能を両モalityで達成した。

ABSTRACT

Large language models have demonstrated impressive universal capabilities across a wide range of open-ended tasks and have extended their utility to encompass multimodal conversations. However, existing methods encounter challenges in effectively handling both image and video understanding, particularly with limited visual tokens. In this work, we introduce Chat-UniVi, a Unified Vision-language model capable of comprehending and engaging in conversations involving images and videos through a unified visual representation. Specifically, we employ a set of dynamic visual tokens to uniformly represent images and videos. This representation framework empowers the model to efficiently utilize a limited number of visual tokens to simultaneously capture the spatial details necessary for images and the comprehensive temporal relationship required for videos. Moreover, we leverage a multi-scale representation, enabling the model to perceive both high-level semantic concepts and low-level visual details. Notably, Chat-UniVi is trained on a mixed dataset containing both images and videos, allowing direct application to tasks involving both mediums without requiring any modifications. Extensive experimental results demonstrate that Chat-UniVi consistently outperforms even existing methods exclusively designed for either images or videos. Code is available at https://github.com/PKU-YuanGroup/Chat-UniVi.

研究の動機と目的

• 単一の大規模言語モデルフレームワーク内で、画像と動画の両方を効率的にモデル化する課題に対処すること。
• 画像と動画の両方における空間的・時間的理解を保持しつつ、視覚的トークン数を削減すること。
• 画像と動画の混合データを用いた統合学習により、統一的かつ柔軟なマルチモーダルモデルを実現すること。
• ビジョン・言語タスクにおけるマルチモーダル推論、詳細な記述、時間的理解の向上を図ること。
• 多様なサンプリング戦略を用いたオブジェクトプローブ評価により、視覚的グランドイングにおける幻覚を軽減すること。

提案手法

• ビジョントランスフォーマー特徴に対して DPC-KNN クラスタリングを適用し、画像と動画イベントに適応的なトークン化を実現する動的視覚トークンを生成する。
• クラスタ化されたトークンの特徴を平均化することで、冗長性を低減しつつ意味を保持するトークン統合を実施する。
• 動画はまずフレームレベルの特徴に対して DPC-KNN を用いてイベントに分割され、各イベント内で時間的に拡張するトークンが生成される。
• 低層は低レベルの視覚的詳細を強調し、高層は高レベルの意味を捉えるマルチスケール表現を構築する。
• 画像と動画の混合データセット上で統合的微調整を実施し、アーキテクチャの再構成なしに、両入力タイプに直接適用可能にする。
• 評価には GPT-4 と GPT-3.5 を用い、ゼロショット、ゼロショット幻覚、マルチアスペクトスコアリングを実施し、一貫性を保つために正規化された指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 限られた視覚的トークン数で、統一された視覚表現が画像と動画の両入力に対して効果的にモデル化できるか？
• RQ2 画像と動画の混合データで統合学習を実施することで、分離したモデルと比較して両モダリティの性能が向上するか？
• RQ3 クラスタリングに基づく統合戦略を用いた動的視覚トークンが、画像における空間的詳細と動画における時間的ダイナミクスを保持できるか？
• RQ4 マルチスケール表現が、多様なビジョン・言語タスクにおける理解をどのように向上させるか？
• RQ5 既存のモデルと比較して、統一フレームワークが視覚的グランドイングにおける幻覚をどの程度軽減できるか？

主な発見

• Chat-UniVi は、画像および動画理解ベンチマークの両方で、画像または動画に特化したモデルを上回り、優れた一般化性能を示した。
• COCOベースの画像理解ベンチマークでは、Chat-UniVi は GPT-4 評価スコアで 10点中 8.7 を達成し、先行手法を上回った。
• ActivityNet-200 動画ベンチマークでは、正規化された 0–100 スケールで 82.3 のスコアを記録し、既存の動画特化モデルを上回った。
• オブジェクト幻覚のゼロショット性能は強く、敵対的サンプリングにおいて 92.4% の正答分類率を示し、堅牢なグランドイングを示した。
• マルチスケール表現により、高レベルの意味理解と詳細な視覚的記述が可能になり、文脈的・時間的推論が向上した。
• 混合データでの統合学習により、アーキテクチャの変更や各モダリティごとの微調整なしに、画像および動画タスクへのエンドツーエンド適応が可能になった。