[論文レビュー] Pink: Unveiling the Power of Referential Comprehension for Multi-modal LLMs

Shiyu Xuan, Qingpei Guo+2 more|arXiv (Cornell University)|Oct 1, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

この論文では、既存のアノテーションを自己整合性のあるブートストラップによって自己学習的に活用し、低コストで高品質なインstructチューニングデータを構築することで、マルチモodal LLMの細分化された画像理解を向上させるフレームワークPinkを紹介する。参照表現とバウンディングボックスのペアに拡張された密度オブジェクトアノテーションを用い、アダプターやLoRAによる視覚エンコーダーのファインチューニングを実施することで、GQA（+5.2%）、RefCOCO_val（Kosmos-2比で+24.7%）、MMBenchリーダーボードで最先端の性能を達成した。公開データのみを用いている。

ABSTRACT

Multi-modal Large Language Models (MLLMs) have shown remarkable capabilities in various multi-modal tasks. Nevertheless, their performance in fine-grained image understanding tasks is still limited. To address this issue, this paper proposes a new framework to enhance the fine-grained image understanding abilities of MLLMs. Specifically, we present a new method for constructing the instruction tuning dataset at a low cost by leveraging annotations in existing datasets. A self-consistent bootstrapping method is also introduced to extend existing dense object annotations into high-quality referring-expression-bounding-box pairs. These methods enable the generation of high-quality instruction data which includes a wide range of fundamental abilities essential for fine-grained image perception. Moreover, we argue that the visual encoder should be tuned during instruction tuning to mitigate the gap between full image perception and fine-grained image perception. Experimental results demonstrate the superior performance of our method. For instance, our model exhibits a 5.2% accuracy improvement over Qwen-VL on GQA and surpasses the accuracy of Kosmos-2 by 24.7% on RefCOCO_val. We have also attained the top rank on the leaderboard of MMBench. This promising performance is achieved by training on only publicly available data, making it easily reproducible. The models, datasets, and codes are publicly available at https://github.com/SY-Xuan/Pink.

研究の動機と目的

• 粗いレベルの視覚タスクでは優れた性能を示すものの、依然として細分化された画像理解に限界があるマルチモーダルLLMの性能向上を図ること。
• マルチモーダル学習における参照理解（RC）タスクのための多様で高品質なインstructデータの不足に取り組むこと。
• 全体画像と細分化された認識の間の性能ギャップを是正するために、インstructチューニング中に視覚エンコーダーの適応性を高めること。
• 高価なLLMベースのデータ生成に依存せず、既存のアノテーションを活用して低コストで再現可能な高品質なRCインストラクションデータを生成する方法を開発すること。
• 特許データや大規模データに依存せず、標準ベンチマークで最先端の性能を達成すること。

提案手法

• Visualグラフなどのデータセットから既存のアノテーションを活用し、視覚的関係や空間的推論を含む多様な参照理解タスクを構築する。
• 自己整合性のあるブートストラップ法を導入し、密度オブジェクトアノテーションから高品質な参照表現-バウンディングボックスペアを自動生成することで、高価なLLMベースのアノテーションを回避する。
• ローカライゼーションやマルチチョイスVQAなどの複数のRCタスクをカバーするインstructテンプレートを設計し、統一されたインstructチューニングデータセットに統合する。
• パラメータ効率の良い手法（例：LoRA、アダプター）を用いて視覚エンコーダーをファインチューニングすることで、グローバル視覚認識と細分化された視覚認識のギャップを埋める。
• 2段階のトレーニングパイプラインを採用：公開データでの事前学習の後、新しく構築したRC指向データセットを用いたインストラクションチューニング。
• 一貫性がありスケーラブルなデータパイプラインを採用し、細分化された認識に適した高品質で多様かつ汎化性の高いインストラクション例を保証する。

Figure 1 : With fewer trainable parameters and less training data, Pink achieves the best performance on both conventional multi-modal tasks and RC tasks. “#Trainable Param.”, “#PT Data”, and “#IT Data” indicate the number of trainable parameters, the number of samples in pre-training and instructio

実験結果

リサーチクエスチョン

• RQ1 公開済みの既存アノテーションのみを用いて、マルチモーダルLLMの細分化された画像理解を顕著に向上させることは可能か？
• RQ2 LLMベースのデータ生成に依存せずに、自己整合性のあるブートストラップ法が高品質な参照表現-バウンディングボックスペアを生成できるか？
• RQ3 インストラクションチューニング中に視覚エンコーダーをファインチューニングすることで、細分化された認識タスクに測定可能な改善が得られるか？
• RQ4 低コストでデータ効率の良いインストラクションチューニング戦略が、GQA や MMBench などの標準ベンチマークで最先端の性能を達成できるか？
• RQ5 インスタンス同定や空間的推論などの基本的能力をインストラクションチューニングに統合することで、RCタスク全体におけるモデルの汎化性能にどのような影響を与えるか？

主な発見

• PinkはGQAベンチマークでQwen-VLより5.2%の精度向上を達成し、細分化された推論能力に優れていることを示した。
• RefCOCO_valではKosmos-2を24.7%上回り、ローカライゼーションおよび参照理解能力の強さが顕著に表れた。
• MMBenchリーダーボードでトップランクを獲得し、広範なマルチモーダル理解タスクにわたる堅牢性を確認した。
• トレーニング可能なパラメータがたった670万個のPinkは、OK-VQAでShikraより最大6.0%の精度向上を達成し、高い効率性と有効性を示した。
• 特許データや大規模データに依存せず、公開データのみを用いてSOTA結果を達成したため、研究コミュニティにおいて完全に再現可能でアクセス可能である。
• 自己整合性のあるブートストラップ法により、高価なLLMベースのデータ生成に依存せずに、既存アノテーションから高品質なRCデータを効果的に生成できた。

Figure 2 : The illustration of our Pink model. Pink follows the architecture of LLaVA [ 22 ] , which consists of three main components: a visual encoder, a projection layer, and a decoder-only LLM. The coordinates of a bounding box are converted into texts in a specific format. During instruction tu