[論文レビュー] u-LLaVA: Unifying Multi-Modal Tasks via Large Language Model

Jinjin Xu, Liwu Xu+6 more|arXiv (Cornell University)|Nov 9, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

u-LLaVAは、タスク固有のエキスパートモデルを結びつける認知的ブリッジとして大規模言語モデル（LLM）を活用する統合的マルチモーダルLLMフレームワークを提案する。これにより、幻覚現象やタスク干渉を低減する。多様な公開データセット（新規15Kの顕著インstructionデータセット含む）を再編成することで、接地、セグメンテーション、キャプション生成などの視覚タスクで最先端の性能を達成し、コードおよびモデルを公開する。

ABSTRACT

Recent advancements in multi-modal large language models (MLLMs) have led to substantial improvements in visual understanding, primarily driven by sophisticated modality alignment strategies. However, predominant approaches prioritize global or regional comprehension, with less focus on fine-grained, pixel-level tasks. To address this gap, we introduce u-LLaVA, an innovative unifying multi-task framework that integrates pixel, regional, and global features to refine the perceptual faculties of MLLMs. We commence by leveraging an efficient modality alignment approach, harnessing both image and video datasets to bolster the model's foundational understanding across diverse visual contexts. Subsequently, a joint instruction tuning method with task-specific projectors and decoders for end-to-end downstream training is presented. Furthermore, this work contributes a novel mask-based multi-task dataset comprising 277K samples, crafted to challenge and assess the fine-grained perception capabilities of MLLMs. The overall framework is simple, effective, and achieves state-of-the-art performance across multiple benchmarks. We also make our model, data, and code publicly accessible at https://github.com/OPPOMKLab/u-LLaVA.

研究の動機と目的

• ダウンストリームタスクの適応段階においてマルチモーダルLLM（MLLM）の幻覚現象とタスク干渉を解消すること。
• 視覚的接地、セグメンテーション、キャプション生成などの多様なマルチモーダルタスクを、単一でスケーラブルなフレームワークに統合すること。
• 特に顕著セグメンテーションのような主観的タスクに特化した、公開データセットの再編成と強化を通じて、効率的かつ再現可能なかたちでのトレーニングを可能にすること。
• 真値アノテーションへのエンドツーエンドのファインチューニングを必要とせず、LLMの世界知識を活用してエキスパートモデルをガイドすること。
• シンプルさとモジュラリティを保ちながら、複数のベンチマークで最先端の性能を達成すること。

提案手法

• LLaVAアーキテクチャにモalityアライメントモジュールとマルチタスクモジュールを統合し、LLMを中央の推論ハブとして使用する。
• BLIP2とGPTを用いて、特に顕著セグメンテーション向けの新規Salient-15Kデータセットを含む、公開データセットの再構築と再編成を行い、インstruct品質とタスクの明確性を向上させる。
• LLMを用いてクエリからの暗黙のラベル情報を解析し、接地やセグメンテーションタスクにおけるエキスパートモデル（例：GroundingDINO、SAM）をガイドする。
• クロス検証ワークフローを実装：LLMによるパースでボクシングボックスを生成し、mask2bboxの出力を用いて検証することで、耐性を高める。
• 全パラメータ再トレーニングを回避するため、LoRAファインチューニングを適用して、さまざまなタスクへの効率的適応を実現する。
• タスク固有のモジュール（例：接地、セグメンテーション）を分離し、LLMの推論能力を介して接続することで、干渉を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 LLMをエキスパートモデル間の推論ブリッジとして用いることで、統合的MLLMフレームワークが幻覚現象とタスク干渉を低減できるか？
• RQ2 特に顕著セグメンテーションのような主観的タスクに特化した、公開データセットの再編成と強化は、モデルの一般化性能にどのように影響するか？
• RQ3 ボクシングボックスやセグメンテーションマスクへの直接的監視を伴わずに、LLMがエキスパートモデル（例：GroundingDINO、SAM）をどれほど効果的にガイドできるか？
• RQ4 シンプルでモジュラーなフレームワークが、VQA、接地、セグメンテーション、動画キャプションなど多様なマルチモーダルタスクで最先端の結果を達成できるか？
• RQ5 LLM生成出力とmask2bbox由来の予測との間で実施されるクロス検証ワークフローは、接地精度をどのように向上させるか？

主な発見

• u-LLaVAは、トレーニング時に真値ボクシングボックスを使用するShikraなどの手法を上回り、RefCOCOgテストスプリットでPrec@0.5が72.52%という最先端の性能を達成した。
• Salient-15Kデータセットを用いて、DUT-OMRONの顕著オブジェクト検出ベンチマークで65.46%のmAPを達成し、主観的顕著性の理解が向上したことを示した。
• アブレーションスタディの結果、第2段階トレーニングにすべてのデータセットタイプ（参照、意味的、顕著、キャプション）を含めると、最も優れた一般化性能が得られ、完全ファインチューニング下でRefCOCOgで75.63%のmAPを達成した。
• LLMパース出力とmask2bbox出力の間で実施されるクロス検証ワークフローは、エンドツーエンドの接地トレーニングを必要とせず、接地の耐性を高める。
• フレームワークは、動画キャプション（キャプションベンチマークで67.78%）やインpaintingを含む多様なタスクで強力な性能を維持しており、定性的な結果から推論力と生成品質の向上が確認された。
• モデル、コード、データ（特にSalient-15Kデータセット）のオープンソース提供により、再現性が確保され、コミュニティによるフレームワーク拡張が可能になった。