[論文レビュー] VILA: On Pre-training for Visual Language Models

Lin Ji, Hongxu Yin+8 more|arXiv (Cornell University)|Dec 12, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、事前学習段階の最適化により、視覚言語ベンチマーク全体で最先端の性能を達成するVILAと呼ばれる視覚言語モデルファミリーを提案する。事前学習中に大規模言語モデル（LLM）をファインチューニングし、交互に配置された画像・テキストデータを用い、ファインチューニング段階でテキスト専用の指示データを再ブレンドすることで、アーキテクチャの装飾なしに、文脈内学習、複数画像の推論、世界知識の向上を実現する。

ABSTRACT

Visual language models (VLMs) rapidly progressed with the recent success of large language models. There have been growing efforts on visual instruction tuning to extend the LLM with visual inputs, but lacks an in-depth study of the visual language pre-training process, where the model learns to perform joint modeling on both modalities. In this work, we examine the design options for VLM pre-training by augmenting LLM towards VLM through step-by-step controllable comparisons. We introduce three main findings: (1) freezing LLMs during pre-training can achieve decent zero-shot performance, but lack in-context learning capability, which requires unfreezing the LLM; (2) interleaved pre-training data is beneficial whereas image-text pairs alone are not optimal; (3) re-blending text-only instruction data to image-text data during instruction fine-tuning not only remedies the degradation of text-only tasks, but also boosts VLM task accuracy. With an enhanced pre-training recipe we build VILA, a Visual Language model family that consistently outperforms the state-of-the-art models, e.g., LLaVA-1.5, across main benchmarks without bells and whistles. Multi-modal pre-training also helps unveil appealing properties of VILA, including multi-image reasoning, enhanced in-context learning, and better world knowledge.

研究の動機と目的

• 視覚言語の事前学習における設計選択が、下流タスクのパフォーマンスに与える影響を調査すること。
• モダリティの整合性に不可欠であるが、高コストであるため、事前学習に関する深層的な研究が不足している問題に取り組むこと。
• 強力なゼロショットおよびフェイントショット能力を備えた効果的な視覚言語モデルを構築するための実用的指針を提供すること。
• テキスト専用の能力を維持しつつ、改善された事前学習レシピによって視覚的理解を強化すること。
• より良い事前学習から生じる、複数画像の推論や強化された文脈内学習といった、出現的機能を解明すること。

提案手法

• 文脈内学習に不可欠な深い埋め込み整合性を実現するため、視覚言語の事前学習中にLLMをファインチューニングする。
• 勾配更新の質と共同モデリングを向上させるために、分離された画像・テキストペアではなく、交互に配置された画像・テキストコーパス（例：MMC4）を用いる。
• テキスト専用の指示データをファインチューニング段階で再ブレンドすることで、テキスト専用タスクにおける性能劣化を是正する。
• プロジェクタ設計の異なるバリエーション（視覚トークン数を減らしても性能を維持する「ダウンサンプリング」プロジェクタを含む）を評価する。
• LLMをファインチューニングするのと、固定して視覚エキスパートを追加するのとを比較し、より高い正確性とより小さいモデルサイズを実現するため、エンドツーエンドのファインチューニングを推奨する。
• データをFLANスタイルのプロンプトに変換して指示チューニング用に使用する、事前学習＋監視付きファインチューニングのパイプラインで学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 事前学習中にLLMを固定するかファインチューニングするかの違いが、文脈内学習およびゼロショットパフォーマンスに与える影響は何か？
• RQ2 分離された画像・テキストペアではなく、交互に配置された画像・テキストデータを使用する場合、事前学習の効果にどのような影響があるか？
• RQ3 ファインチューニング段階でテキスト専用の指示データを再ブレンドすることで、テキスト専用タスクの性能劣化を是正しつつ、視覚言語タスクの正確性を向上させられるか？
• RQ4 事前学習が、複数画像の推論や強化された世界知識といった出現的機能に与える影響は何か？
• RQ5 LLMをファインチューニングするのと視覚エキスパートを追加するのとを比較した場合、モデルサイズとパフォーマンスのトレードオフはどのようなものか？

主な発見

• 事前学習中にLLMをファインチューニングすることで、文脈内学習能力が顕著に向上するが、LLMを固定した場合、ゼロショットパフォーマンスは良好でも、この能力は制限される。
• MMC4などの「交互に配置された」事前学習データは、COYO や LAION などの「分離された」画像・テキストペアよりも、勾配更新の質が高く、パフォーマンスも優れている。
• ファインチューニング段階でテキスト専用の指示データを再ブレンドすることで、テキスト専用の能力が維持されるだけでなく、視覚言語タスクの正確性も向上する。
• VILAは追加のコンponentsなしに、LLaVA-1.5 などの最先端モデルを複数のベンチマークで上回り、よりシンプルなレシピで最先端の結果を達成する。
• 強化された事前学習により、複数画像の推論や強化された世界知識といった出現的機能が解き放たれる。これは、単一画像データでのファインチューニングでも成立する。
• 「ダウンサンプリング」プロジェクタは視覚トークン数を336から144に削減し、TextVQAの正確性を約46％まで向上させる。これは、標準的な視覚トークン化における冗長性を示している。