[論文レビュー] OMG-LLaVA: Bridging Image-level, Object-level, Pixel-level Reasoning and Understanding

Tao Zhang, Xiangtai Li+6 more|arXiv (Cornell University)|Jun 27, 2024

Cell Image Analysis Techniques被引用数 5

ひとこと要約

OMG-LLaVAは、1つのモデル、1つのLLM、1つの視覚エンコーダ、1つの視覚デコーダで、画像レベル・オブジェクトレベル・ピクセルレベルの推論を統合し、多様なマルチモーダルタスクを実現します。

ABSTRACT

Current universal segmentation methods demonstrate strong capabilities in pixel-level image and video understanding. However, they lack reasoning abilities and cannot be controlled via text instructions. In contrast, large vision-language multimodal models exhibit powerful vision-based conversation and reasoning capabilities but lack pixel-level understanding and have difficulty accepting visual prompts for flexible user interaction. This paper proposes OMG-LLaVA, a new and elegant framework combining powerful pixel-level vision understanding with reasoning abilities. It can accept various visual and text prompts for flexible user interaction. Specifically, we use a universal segmentation method as the visual encoder, integrating image information, perception priors, and visual prompts into visual tokens provided to the LLM. The LLM is responsible for understanding the user's text instructions and providing text responses and pixel-level segmentation results based on the visual information. We propose perception prior embedding to better integrate perception priors with image features. OMG-LLaVA achieves image-level, object-level, and pixel-level reasoning and understanding in a single model, matching or surpassing the performance of specialized methods on multiple benchmarks. Rather than using LLM to connect each specialist, our work aims at end-to-end training on one encoder, one decoder, and one LLM. The code and model have been released for further research.

研究の動機と目的

• 画像レベル、オブジェクトレベル、ピクセルレベルの理解と推論を橋渡しする単一モデル解法の動機付け。
• 凍結されたLLMに豊富な視覚トークンを提供する普遍的知覚モジュールを活用。
• 複数のタスク固有のアダプターやデコーダーを用いず、エンドツーエンドのタスク統合を達成。
• 画像レベルおよび領域レベルの推論を可能にしつつ、ピクセルレベルのセグメンテーション能力を保持。
• セグメンテーション、グラウンディング、グラウンデッド・コンバセーションのベンチマークで高い性能を示す。

提案手法

• OMG-Segを凍結された普遍的知覚エンコーダとして使用し、ピクセル中心およびオブジェクト中心の視覚トークンを生成。
• オブジェクトクエリと画像特徴をLLM向けのトークン表現に融合する知覚事前埋め込みモジュールを導入。
• 画像、領域、テキストプロンプトをLLMがテキストとセグメンテーションTokenを生成できる統一トークン形式にエンコード。
• LLMからの[SEG]トークン出力をOMGデコーダーを介してセグメンテーションマスクへデコード。
• 2段階の訓練：凍結された知覚モジュールと訓練可能な射影を用いた事前訓練；LoRAによるLLMの指示調整とセグメンテーション損失の監督。
• 多様なタスクを可能にするため、<Image>、<Region>、および[SEG]トークンを用いた統一指示フォーマットを採用。

実験結果

リサーチクエスチョン

• RQ1 1つのエンコーダ、1つのデコーダ、1つのLLMで、画像レベル・オブジェクトレベル・ピクセルレベルのタスクを単一のMLLMアーキテクチャで解決できるか？
• RQ2 知覚事前埋め込みは、オブジェクト中心の情報をピクセル特徴へ効果的に統合してLLMの推論に寄与するか？
• RQ3 統一アプローチは、画像キャプション、VQA、参照セグメンテーション、グラウンデッド・コンバセーションタスクで、専門的なシステムや複数モジュールのシステムと比較してどのような性能を示すか？
• RQ4 視覚プロンプト（点、ボックス、マスク）がオブジェクトレベルの理解とプロンプト駆動のセグメンテーションに与える影響は？
• RQ5 タスク固有のアダプターなしで広範なマルチモーダル機能をサポートするために必要なデータとトレーニング戦略は？

主な発見

• OMG-LLaVAは、単一のモデル内で画像レベル・オブジェクトレベル・ピクセルレベルの理解と推論を達成します。
• 知覚事前埋め込みはセグメンテーションとテキストの整合性を著しく向上させ、RESおよびGCGタスクを強化します。
• LLMにオブジェクトクエリ入力を提供することで、参照セグメンテーションおよびグラウンデッド・タスクで追加の性能向上を得られます。
• 最先端MLLMと比較して、OMG-LLaVAは参照セグメンテーションとグラウンデッド・コンバセーションで競争力のあるまたは優れた結果を達成し、普遍的なセグメンテーション能力を維持します。
• このモデルは単一の視覚エンコーダとデコーダを使用し、複数のエンコーダ/デコーダアプローチと比べて複雑性と計算量を削減します。