[論文レビュー] Bootstrapping Vision-Language Learning with Decoupled Language Pre-training

Yiren Jian, Chong Gao+1 more|arXiv (Cornell University)|Jul 13, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本論文は、視覚言語事前学習を向上させるために、まず単一モダリティのテキストデータ上で訓練されたP-Formerモデルを用いて最適な言語プロンプトを学習し、その後に視覚特徴をそれらのプロンプトにアライメントさせる、バックワード・デカップルドトレーニングフレームワークを提案する。この手法により、400万枚と1億2900万枚の画像-テキストペairで訓練されたモデル間の性能差が著しく縮まり、計算リソースを最小限に抑えながらBLIP-2の性能が向上する。

ABSTRACT

We present a novel methodology aimed at optimizing the application of frozen large language models (LLMs) for resource-intensive vision-language (VL) pre-training. The current paradigm uses visual features as prompts to guide language models, with a focus on determining the most relevant visual features for corresponding text. Our approach diverges by concentrating on the language component, specifically identifying the optimal prompts to align with visual features. We introduce the Prompt-Transformer (P-Former), a model that predicts these ideal prompts, which is trained exclusively on linguistic data, bypassing the need for image-text pairings. This strategy subtly bifurcates the end-to-end VL training process into an additional, separate stage. Our experiments reveal that our framework significantly enhances the performance of a robust image-to-text baseline (BLIP-2), and effectively narrows the performance gap between models trained with either 4M or 129M image-text pairs. Importantly, our framework is modality-agnostic and flexible in terms of architectural design, as validated by its successful application in a video learning task using varied base modules. The code will be made available at https://github.com/yiren-jian/BLIText.

研究の動機と目的

• 大規模言語モデル（LLM）を固定した状態でエンドツーエンドの視覚言語事前学習を実施する課題に取り組み、視覚特徴と言語生成との間のアライメント最適化が困難であることを解決すること。
• 400万枚の画像-テキストペアと1億2900万枚の画像-テキストペアで事前学習されたモデル間の性能差を縮小し、プロンプトアライメントを改善すること。
• 視覚特徴の選択段階（フォワード・デカップリング）ではなく、ターゲットテキストに対して最適な言語プロンプトを事前に特定することで、トレーニングプロセスをデカップルすること。
• 視覚データとは独立して単一モダリティのテキストデータ上でP-Formerを訓練することで、モダリティに依存しない、アーキテクチャに柔軟な視覚言語学習を可能にすること。
• アクセス可能なハードウェアでも高性能な事前学習が実現可能になるように、視覚言語研究への参入障壁を低減すること。

提案手法

• 新規のバックワード・デカップルドトレーニングパラダイムを導入：まず、言語的データのみを用いて、固定されたLLMがターゲットテキスト $ t $ を生成するのを引き起こす最適な連続的プロンプト $ p $ を特定する。
• P-Former（プロンプト・トランスフォーマー）を訓練し、これらの理想的なプロンプトを $ p = E_{\text{P-Former}}(t) $ として予測する。自己符号化器の構成で、因果的LLMをデコーダーとして用いる。
• P-Formerを再構成損失 $ \text{L}_{\text{recon}} $ と対照的損失で訓練し、意味的に類似した文が類似したプロンプト埋め込みを生成することを保証する。これはSimCSEを模倣する。
• 視覚特徴（プロンプトとして使用）と参照プロンプト $ E_{\text{P-Former}}(t) $ の間の距離を最小化する新しいアライメント損失 $ \text{L}_{\text{alignment}} $ を導入し、視覚-テキストアライメントの向上を実現する。
• 視覚エンコーダーやLLMを変更せずに、BLIP-2に $ \text{L}_{\text{alignment}} $ を第二段階のトレーニングに追加することでフレームワークを適用する。
• 一般化を検証するため、I3D動画エンコーダーとトランスフォーマー型アダプタを用いた動画キャプション生成にフレームワークを適用し、モダリティに依存しない適用可能性を示す。

Figure 1: left: End-to-end training of X-to-language models (where X can be images, videos, or audio), in which aligned input features are provided as prompts to LLMs. Examples include Frozen [ 29 ] and ClipCap [ 46 ] . middle: “Forward-decoupled training” as demonstrated in BLIP-2 [ 34 ] and X-LLM

実験結果

リサーチクエスチョン

• RQ1 視覚特徴選択段階（フォワード・デカップリング）ではなく、言語プロンプト最適化段階でトレーニングをデカップルすることで、視覚言語事前学習を改善できるか？
• RQ2 テキストデータのみで訓練された単一モダリティの言語モデルが、視覚特徴と良好にアライメントする意味的豊かなプロンプトを学習できるか？
• RQ3 視覚データとは独立して理想的なプロンプトを学習し、その後に視覚特徴をそれらにアライメントさせることで、特にデータ量が限られた状況でも性能が向上するか？
• RQ4 このフレームワークは、モダリティ（例：動画）や視覚から言語へのアーキテクチャが異なる場合でも、アーキテクチャの再設計なしに一般化可能か？
• RQ5 この手法は、小規模（400万枚）と大規模（1億2900万枚）の画像-テキストデータセットで訓練されたモデル間の性能差をどの程度縮小できるか？

主な発見

• P-Formerはテキストデータから意味的に意味のあるプロンプトを効果的に生成でき、対照的損失により有効な文の埋め込み学習が可能であることが確認された。
• $ \text{L}_{\text{alignment}} $ 損失を追加することで、BLIP-2の性能が顕著に向上し、400万枚と1億2900万枚の画像-テキストペアで訓練されたモデル間の性能差が著しく縮まった。
• COCO画像キャプションベンチマークにおいて、フレームワークによりBLIP-2のCIDErスコアが120.8から123.5に向上し、生成品質の明確な向上が示された。
• 動画キャプションにおいては、1000万枚の動画を使用した最先端のVideoCoCaと比較して、わずか2万6000枚の動画で学習したにもかかわらず、VATEXでCIDErスコアを56.6から60.9に向上させた。
• この手法はモダリティに依存しない：固定されたI3Dエンコーダーとシンプルなトランスフォーマー型アダプタを用いた動画キャプションモデルでも、性能向上が達成され、広範なアーキテクチャの柔軟性が示された。
• フレームワークにより、アクセス可能なハードウェア（8 × RTX-A6000）で4日未満で高性能な視覚言語事前学習が可能となり、研究へのリソース障壁が顕著に低下した。

Figure 2: Overview of P-Former. left: The P-Former training resembles an autoencoder, with the bidirectional P-Former as the encoder and a causal LLM (frozen) as the decoder. The objective is to reconstruct input text auto-regressively. The [CLS] representation serves as sentence embeddings, which a