[論文レビュー] Vitron: A Unified Pixel-level Vision LLM for Understanding, Generating, Segmenting, Editing

Hao Fei, Shengqiong Wu+3 more|arXiv (Cornell University)|Oct 8, 2024

Image and Object Detection Techniques被引用数 19

ひとこと要約

VITRON は、画像と動画の理解、生成、セグメンテーション、編集を統合する普遍的なピクセルレベルのビジョンLLM であり、画像/動画エンコーダ、中心となる LLM、複数の視覚バックエンドを統合し、ハイブリッドな指示伝達メカニズムを介して機能します。

ABSTRACT

Recent developments of vision large language models (LLMs) have seen remarkable progress, yet still encounter challenges towards multimodal generalists, such as coarse-grained instance-level understanding, lack of unified support for both images and videos, and insufficient coverage across various vision tasks. In this paper, we present VITRON, a universal pixel-level vision LLM designed for comprehensive understanding, generating, segmenting, and editing of both static images and dynamic videos. Building on top of an LLM backbone, VITRON incorporates encoders for images, videos, and pixel-level regional visuals within its frontend modules, while employing state-of-the-art visual specialists as its backend, via which VITRON supports a spectrum of vision end tasks, spanning visual comprehension to visual generation, from low level to high level. To ensure an effective and precise message passing from LLM to backend modules for function invocation, we propose a novel hybrid method by simultaneously integrating discrete textual instructions and continuous signal embeddings. Further, we design various pixel-level spatiotemporal vision-language alignment learning for VITRON to reach the best fine-grained visual capability. Finally, a cross-task synergy module is advised to learn to maximize the task-invariant fine-grained visual features, enhancing the synergy between different visual tasks. Demonstrated over 12 visual tasks and evaluated across 22 datasets, VITRON showcases its extensive capabilities in the four main vision task clusters. Overall, this work illuminates the great potential of developing a more unified multimodal generalist. Project homepage: https://vitron-llm.github.io/

研究の動機と目的

• 画像と動画の双方を扱う統一的な多モーダル汎用性プラットフォームの必要性を説明する。
• 理解、生成、セグメンテーション、編集を実行できるピクセルレベルのビジョンLLMを開発する。
• LLM からバックエンドモジュールへ意思決定を伝達するハイブリッドメッセージ伝達機構を設計する。
• 細粒度の知覚を高めるためのピクセルレベルの時空ビジョン言語整合を実装する。
• タスクを跨ぐ共通のタスク不変特徴を最大化するクロス・タスク・シナジーモジュールを導入する。

提案手法

• 画像、動画、領域（スケッチ）エンコーダを用いて中央の LLM に給する、エンコーダ-LLM-デコーダアーキテクチャを使用する。
• 離散的なテキスト指示と連続信号埋め込みを組み合わせたハイブリッドな LLM-to-バックエンドのメッセージ伝達を採用する。
• 拡散ベースの生成、セグメンテーション、動画編集等の最先端の視覚スペシャリストをバックエンドデコーダとして統合する。
• 3 段階で訓練する：基本的な多模態整合と指示/埋め込みの調整；微細な時空的グラウンディング；クロス・タスク・シナジー学習。
• 埋め込みをタスク特異的特徴とタスク不変特徴に分解し、対立的訓練を適用してクロス・タスクの共有を最大化する。

実験結果

リサーチクエスチョン

• RQ1 1 つのビジョン LLM が、画像と動画の且に対してピクセルレベルの理解、生成、セグメンテーション、編集を同時に処理できるか？
• RQ2 モダリティ信号を保持しつつ正確なタスク命令を出すために、LLM-to-backend の通信を最適化するにはどうすればよいか？
• RQ3 タスクを跨ぐ共通の微小視覚特徴を介してパフォーマンスが向上するか、クロス・タスク・シナジーメカニズムは機能するか？
• RQ4 細粒度の時空的グラウンディングが下流の vision QA およびグラウンディングタスクに与える影響は何か？

主な発見

• VITRON は、理解、生成、セグメンテーション、編集にまたがる 12 タスクと 22 データセットでの能力を示す。
• 既存のスペシャリストと比べて、VITRON はいくつかのタスクで最先端と同等またはそれを上回る。
• アブレーション結果は、ハイブリッドなメッセージ伝達とクロス・タスク・シナジーが性能向上に寄与することを示す。
• ピクセルレベルの時空的グラウンディングは、画像と動画のグラウンディング、QA、領域レベルの理解を向上させる。
• タスク不変特徴共有によるクロス・タスク・シナジーは、複数の視覚タスクで広範な改善を生む。
• 経験的解析は、バックエンドモジュール呼び出しに対する離散的なテキスト指示と連続埋め込みの双方の利点を検証する。