[論文レビュー] An Empirical Study of Scaling Instruct-Tuned Large Multimodal Models

Yadong Lu, Chunyuan Li+4 more|arXiv (Cornell University)|Sep 18, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、LLaVAを用いて7Bから65Bパラメータにスケーリングされた指令微調整済みの大規模マルチモーダルモデル（LMM）に関する実証的調査を提示しており、モデルサイズの増大がマルチモーダルおよび言語能力を一貫して向上させることを示している。LoRA/QLoRA微調整は完全微調整と同等の性能を達成しており、高解像度の画像およびマルチモーダル・言語データの混合により性能が顕著に向上し、視覚的指令微調整は純粋な言語能力の向上にも寄与することがわかった。

ABSTRACT

Visual instruction tuning has recently shown encouraging progress with open-source large multimodal models (LMM) such as LLaVA and MiniGPT-4. However, most existing studies of open-source LMM are performed using models with 13B parameters or smaller. In this paper we present an empirical study of scaling LLaVA up to 33B and 65B/70B, and share our findings from our explorations in image resolution, data mixing and parameter-efficient training methods such as LoRA/QLoRA. These are evaluated by their impact on the multi-modal and language capabilities when completing real-world tasks in the wild. We find that scaling LMM consistently enhances model performance and improves language capabilities, and performance of LoRA/QLoRA tuning of LMM are comparable to the performance of full-model fine-tuning. Additionally, the study highlights the importance of higher image resolutions and mixing multimodal-language data to improve LMM performance, and visual instruction tuning can sometimes improve LMM's pure language capability. We hope that this study makes state-of-the-art LMM research at a larger scale more accessible, thus helping establish stronger baselines for future research. Code and checkpoints will be made public.

研究の動機と目的

• 13Bパラメータを超える大規模言語モデル（LLM）のサイズを拡大することによる、大規模マルチモーダルモデル（LMM）性能への影響を調査すること。
• 大規模LMMに適したパラメータ効率の良い微調整手法（LoRAやQLoRAなど）の有効性を評価すること。
• データ混合（マルチモーダルデータ対言語のみの指令データ）および画像解像度がLMMの能力に与える影響を分析すること。
• 視覚的指令微調整が、マルチモーダル能力に加え、純粋な言語能力の向上にも寄与するかどうかを検討すること。
• より大規模なLLaVAチェックポイントを用いた今後の研究のための、より強固で公開可能なベースラインを確立すること。

提案手法

• 2段階のトレーニングプロセスを用いて、LLaVA-80Kデータセットを用いた視覚的指令データによる微調整を通じて、VicunaベースのLLMを7Bから65Bにスケーリング。 (1) 投影ヘッドのトレーニングによる視覚特徴の整合化、(2) LLaVA-80Kデータセットを用いた視覚的指令微調整。
• 完全モデル微調整とパラメータ効率の良い手法（LoRAおよびQLoRA）を用い、トレーニングコストと性能のトレードオフを比較した。
• 第2段階の微調整中に、LLaVA-80Kのマルチモーダル指令データと、ShareGPTの言語のみの指令データを組み合わせることで、データ混合の影響を検討した。
• 高解像度画像入力（最大336x336）を用い、視覚的理解および推論能力への影響を評価した。
• 効率的なトレーニングのため、DeepSpeedのZeRO-3/ZeRO-2を採用。シーケンス長は2048トークンに制限され、学習率スケジュールは各手法に最適化された。
• 広範なハイパーパramータサーチを実施。特にLoRAに関しては、LoRA alpha = 2 × rank および学習率 1×10⁻⁴が最適な性能を発揮することが判明した。

実験結果

リサーチクエスチョン

• RQ1 7Bから65BへのLLMサイズのスケーリングが、指令微調整済みLMMのマルチモーダルおよび言語能力に与える影響は何か？
• RQ2 LoRA や QLoRA といったパラメータ効率の良い微調整手法が、大規模LMMにおいて完全微調整の性能をどの程度再現できるか？
• RQ3 トレーニング中に言語のみの指令データとマルチモーダルデータを混合することにより、マルチモーダル能力と言語能力のバランスにどのような影響が生じるか？
• RQ4 視覚的指令微調整は、マルチモーダル性能を超えて、LMMの純粋な言語能力を向上させるのか？
• RQ5 実用的タスクにおいてLMM性能を最大化するための最適な画像解像度およびデータキュレーション戦略は何か？

主な発見

• LLaVAを7Bから65Bにスケーリングした結果、LLaVA-Benchスコアは65.9から72.3に向上し、65Bモデルは最先端の結果を達成した。
• LoRAおよびQLoRA微調整は完全微調整と同等の性能を達成しており、65BのLoRAモデルはLLaVA-Benchで72.2、MM-VETで74.2を記録した。
• 言語のみの指令データ（例：ShareGPT）をマルチモーダルデータと混合させることでマルチモーダル能力が向上したが、言語性能の向上は見られず、能力バランスにトレードオフが生じることが示唆された。
• 視覚的指令微調整は純粋な言語能力の向上をもたらした：LLaVA-70BはMMLUスコア65.1を達成し、ベースのLLaMA-2-70B-Chatモデル（63.1）を上回った。これは正の転送効果を示している。
• 高解像度画像（例：336x336）は視覚的理解能力を顕著に向上させ、全モデルサイズで性能向上が確認された。
• 最適なLoRA設定では、LoRA alpha = 2 × rank および学習率 1×10⁻⁴が採用され、ランク64を超えてランクを大きくしても、その向上はわずかにしか得られなかった。