[論文レビュー] ALLaVA: Harnessing GPT4V-Synthesized Data for Lite Vision-Language Models

Guiming Hardy Chen, Shunian Chen+8 more|arXiv (Cornell University)|Feb 18, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、GPT-4Vによって合成された高品質なデータを用いて学習することで、12のベンチマークで競争力ある性能を達成する3Bパラメータの視覚言語モデルであるALLaVAを紹介する。合成キャプション、複雑な指示、詳細な回答をGPT-4Vから活用することで、ライトウェイトとフルサイズのLVLMの間の性能格差を縮め、その小さなサイズにもかかわらず、重要なタスクでより大きなモデルを上回る性能を発揮した。

ABSTRACT

Large vision-language models (LVLMs) have shown premise in a broad range of vision-language tasks with their strong reasoning and generalization capabilities. However, they require considerable computational resources for training and deployment. This study aims to bridge the performance gap between traditional-scale LVLMs and resource-friendly lite versions by adopting high-quality training data. To this end, we propose a comprehensive pipeline for generating a synthetic dataset. The key idea is to leverage strong proprietary models to generate (i) fine-grained image annotations for vision-language alignment and (ii) complex reasoning visual question-answering pairs for visual instruction fine-tuning, yielding 1.3M samples in total. We train a series of lite VLMs on the synthetic dataset and experimental results demonstrate the effectiveness of the proposed scheme, where they achieve competitive performance on 17 benchmarks among 4B LVLMs, and even perform on par with 7B/13B-scale models on various benchmarks. This work highlights the feasibility of adopting high-quality data in crafting more efficient LVLMs. We name our dataset extit{ALLaVA}, and open-source it to research community for developing better resource-efficient LVLMs for wider usage.

研究の動機と目的

• 高品質なトレーニングデータを用いて、ライトウェイトとフルスケールの視覚言語モデル（LVLM）の間の性能格差を埋める。
• 人間によるアノテーションデータセットに依存せずに、高精細なマルチモーダルトレーニングデータを生成するスケーラブルでデータ中心のアプローチを開発する。
• GPT-4Vから生成された合成データが、大規模モデルを上回る性能を示すライトウェイトなLVLMを効果的に訓練できるかどうかを評価する。
• 140万件のサンプルを含み、詳細なキャプションと指示を備えた、大規模で高品質な合成データセットをオープンソース化する。

提案手法

• GPT-4Vを活用し、140万枚の画像に対して詳細な画像キャプション、複雑な推論指示、詳細な回答を生成した。
• 2種類の異なる合成データセットを構築した：視覚的・言語的整合性を向上させるためのALLaVA-Caption-4Vと、視覚的インstructチューニング用のALLaVA-Instruct-4V。
• 2段階のパイプラインを用いて、3Bパラメータの言語モデル（Phi2）と視覚エンコーダーを学習した：まず整合性データで事前学習を行い、その後インstructデータでファインチューニングした。
• データの質を最優先とするデータ中心のフレームワークを採用し、低品質なキャプションによるノイズ信号を最小限に抑えた。
• MME、GQA、MM-Vetなど12のベンチマークでモデルの性能を評価し、LLaVA-v1.6-34B や GPT-4V といったSOTAモデルと比較した。
• アブレーションスタディを実施し、各合成データセットが異なる学習段階でのモデル性能に与える影響を分離して評価した。

Figure 1: Pipeline for scaling up high-quality data. Prompts in the figure are shown for demonstration purpose. See the detailed prompt in Appendix A.1 and A.2 .

実験結果

リサーチクエスチョン

• RQ1 GPT-4Vから生成された高品質な合成データは、ライトウェイトと大規模なLVLMの間の性能格差を埋めることができるか？
• RQ2 GPT-4Vを用いて複雑で詳細な指示と回答を生成することで、小さな視覚言語モデルにおける推論力と整合性が向上するか？
• RQ3 合成データを用いた場合、整合性データで事前学習した後、インストラクションチューニングを行う2段階のトレーニングパイプラインはどの程度効果的か？
• RQ4 高品質な合成データで学習した3Bパララメータのモデルは、13B〜34Bのモデルと同等の性能を達成できるか？

主な発見

• ALLaVAはMMEスコア1623.2、GQAスコア50.0を達成し、両ベンチマークでLLaVA-v1.5-13Bを上回った。
• MM-Vetスコア33.2を達成し、その小さなサイズにもかかわらず、強力なマルチモーダル推論能力を示した。
• アブレーションスタディの結果、ALLaVA-Caption-4VとALLaVA-Instruct-4Vを併用した場合が最も高い性能を示し、両方を用いた際のMM-Vetスコアは32.2に達した。
• Phi2-2.7Bのバックボーンは、Qwen-1.8B や StableLM-2-1.6B よりもすべてのベンチマークで優れた性能を示し、合成データとの高い相性を示した。
• 2つの定性的な例において、ALLaVAはGPT-4Vの推論品質と同等またはそれを上回った。特に感情認識やユーモア理解の分野で顕著な結果を示した。
• 140万件のサンプルを含むオープンソースデータセットは、LVLM学習用にGPT-4Vによって合成された最大規模のデータセットであり、今後のデータ中心のマルチモーダル学習研究を可能にする。