[論文レビュー] Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants

Tianyu Yu, Jinyi Hu+11 more|arXiv (Cornell University)|Oct 1, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、事前学習済みの視覚言語モデル（VLM）を『即効的』なブリッジとして用いる新規フレームワークMuffinを提案する。これにより、追加の特徴一致学習を必要とせず、視覚エンコーダーと大規模言語モデル（LLM）を直接接続できる。また、多様なデータセットからの補完的アノテーションを統合して作成された110万件のマルチモーダルインstructデータセットUniMM-Chatを導入し、LLaVA や InstructBLIP などのモデルを上回る最先端の性能を、視覚言語タスク全般で達成する。

ABSTRACT

Recent Multimodal Large Language Models (MLLMs) exhibit impressive abilities to perceive images and follow open-ended instructions. The capabilities of MLLMs depend on two crucial factors: the model architecture to facilitate the feature alignment of visual modules and large language models; the multimodal instruction tuning datasets for human instruction following. (i) For the model architecture, most existing models introduce an external bridge module to connect vision encoders with language models, which needs an additional feature-alignment pre-training. In this work, we discover that compact pre-trained vision language models can inherently serve as ``out-of-the-box'' bridges between vision and language. Based on this, we propose Muffin framework, which directly employs pre-trained vision-language models to act as providers of visual signals. (ii) For the multimodal instruction tuning datasets, existing methods omit the complementary relationship between different datasets and simply mix datasets from different tasks. Instead, we propose UniMM-Chat dataset which explores the complementarities of datasets to generate 1.1M high-quality and diverse multimodal instructions. We merge information describing the same image from diverse datasets and transforms it into more knowledge-intensive conversation data. Experimental results demonstrate the effectiveness of the Muffin framework and UniMM-Chat dataset. Muffin achieves state-of-the-art performance on a wide range of vision-language tasks, significantly surpassing state-of-the-art models like LLaVA and InstructBLIP. Our model and dataset are all accessible at https://github.com/thunlp/muffin.

研究の動機と目的

• 追加のアライメントモジュールやリサンプリング機構を必要とする、従来のMLLMアーキテクチャの非効率性と複雑さを是正すること。
• 現在のマルチモーダルインストラクションチューニングデータセットが、しばしば深さ・多様性・補完的情報に欠けるという限界を克服すること。
• 推論力と事実に基づく根拠の強化を図る、統一的かつ高品質で知識集約型のマルチモーダルインストラクションデータセットの開発。
• 事前学習済みVLMをLLMに直接統合することで、追加のアライメント学習なしに優れた性能を達成できることの実証。
• 同じ画像に対して複数のソースからのアノテーションを統合することで、マルチモーダルデータセット構築の新パラダイムを確立すること。

提案手法

• Muffinは、コンパクトな事前学習済み視覚言語モデル（例：ALBEF, CoCa, BEiT-3）を視覚信号の供給源として直接使用し、外部のブリッジモジュールやリサンプラーの必要性を回避する。
• VLMの埋め込み空間に学習可能なクエリベクトルを導入し、視覚的表現を抽出・LLMに統合することで、エンド・ツー・エンドの学習を可能にする。
• UniMM-Chatデータセットは、同じ画像に対して複数の視覚言語データセット（例：COCO）のアノテーションを統合することで構築され、より豊富で知識集約型の会話データを生成する。
• GPT-4を用いた柔軟なプロンプト戦略により、統合されたアノテーションを多様で高品質な、詳細な応答を伴う複数ターンの対話に変換する。
• 事前学習およびインstructチューニング段階で高解像度画像をサポートすることで、微細な視覚的詳細を保持する。
• GPT-4を用いて複雑で開放的質問に対するモデル出力をスコア化することで、マルチモーダル推論力と世界知識を評価する新ベンチマークUniMM-Benchを導入する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み視覚言語モデルは、追加のアライメントモジュールなしに、視覚エンコーダーと大規模言語モデルの間で効果的な『即効的』ブリッジとして機能できるか？
• RQ2 複数のデータセットからの補完的アノテーションを統合することで、マルチモーダルインストラクションチューニングデータの質と知識密度がどのように向上するか？
• RQ3 UniMM-Chatのような知識集約型で複数ソースのアノテーションが付加されたデータセットで学習することで、MLLMの推論力と事実の正確性はどの程度向上するか？
• RQ4 LLaVA や InstructBLIP などの複雑なアーキテクチャとは対照的に、外部のリサンプラーまたはプロジェクタに依存しないシンプルで統一的な学習フレームワークMuffinは、どのように性能を上回るか？
• RQ5 画像解像度やファインチューニング戦略が、複雑な推論タスクにおけるマルチモーダルモデルの性能に与える影響は何か？

主な発見

• Muffinは、視覚質問応答（VQA）、ビジュアルチャット、詳細記述タスクにおいて、LLaVA や InstructBLIP を上回る最先端の性能を、複数の視覚言語ベンチマークで達成した。
• UniMM-Benchベンチマークでは、Muffinが73.4%のスコアを記録し、元のデータセットや網羅性に欠けるバージョンでファインチューニングされたモデルを大きく上回った。
• UniMM-Chatで学習したモデルは、LLaVAテストセットで85.7%の正確性を達成し、ドメイン外の例に対しても強力な一般化能力と耐性を示した。
• アブレーションスタディの結果、統合されたアノテーション（UniMM-Chat）を用いることで、個別または非補完的データ（例：UniMM-Chat-sep）を用いた場合よりも優れた性能が得られ、データ統合の価値が裏付けられた。
• 事前学習またはファインチューニング段階で画像解像度を低下させると、性能に顕著な低下が見られた。これは、複雑なタスクにおいて高解像度の視覚入力を維持することが極めて重要であることを示している。
• インstructチューニング段階でLLMを固定した場合、UniMM-Benchでのスコアが10ポイント低下した。これは、最適な知識統合を実現するにはLLMのファインチューニングが不可欠であることを示している。