[論文レビュー] Linearly Mapping from Image to Text Space

Jack Merullo, Louis Castricato+2 more|arXiv (Cornell University)|Sep 30, 2022

Multimodal Machine Learning Applications被引用数 25

ひとこと要約

本論文は、単一の線形射影で画像表現を凍結された言語モデルの入力空間へ写像し、キャプション生成と質問応答を行えることを示し、LMや画像エンコーダの微調整なしで競争力のある vision-language パフォーマンスを達成する。性能は事前学習時の画像エンコーダの語彙的監督に依存する。

ABSTRACT

The extent to which text-only language models (LMs) learn to represent features of the non-linguistic world is an open question. Prior work has shown that pretrained LMs can be taught to caption images when a vision model's parameters are optimized to encode images in the language space. We test a stronger hypothesis: that the conceptual representations learned by frozen text-only models and vision-only models are similar enough that this can be achieved with a linear map. We show that the image representations from vision models can be transferred as continuous prompts to frozen LMs by training only a single linear projection. Using these to prompt the LM achieves competitive performance on captioning and visual question answering tasks compared to models that tune both the image encoder and text decoder (such as the MAGMA model). We compare three image encoders with increasing amounts of linguistic supervision seen during pretraining: BEIT (no linguistic information), NF-ResNET (lexical category information), and CLIP (full natural language descriptions). We find that all three encoders perform equally well at transferring visual property information to the language model (e.g., whether an animal is large or small), but that image encoders pretrained with linguistic supervision more saliently encode category information (e.g., distinguishing hippo vs. elephant) and thus perform significantly better on benchmark language-and-vision tasks. Our results indicate that LMs encode conceptual information structurally similarly to vision-based models, even those that are solely trained on images. Code is available here: https://github.com/jmerullo/limber

研究の動機と目的

• 凍結されたテキストのみのLMが、線形に写像された画像表現（ソフトプロンプト）に供給されたとき、画像を説明できるかを検証する。
• 異なる語彙監督を持つ画像エンコーダがLMへ視覚概念を転送する方法を調査する。
• LiMBeRを共同で調整されたマルチモーダルベースラインと比較して、エンドツーエンド調整の必須性を評価する。

提案手法

• 画像エンコーダ表現からLM入力空間への単一の線形射影Pを学習し、画像プロンプトを作成する。
• 画像エンコーダEと言語モデルLMの両方を凍結したまま、画像キャプション生成目的でPを訓練する。
• LMやエンコーダの微調整なしで、VLタスクに対してLMにキャプション生成と質問応答を促して転移を評価する。
• CLIP RN50x16、NF-ResNet50、BEIT-Large（および variants）など、異なる事前学習語彙監督を持つ複数のエンコーダをテストする。
• Conceptual Captions 3M を訓練に用い、MAGMA や NFRN50 変種を含むベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 画像エンコーダと凍結されたLMの間の線形写像が、LMやエンコーダの重みを更新せずに正確な画像キャプション生成とVQAをサポートできるか？
• RQ2 画像エンコーダの事前学習における語彙的監督の量は、LMへの転移にどのような影響を与えるか？
• RQ3 視覚空間と言語空間の表現類似性は、エンコーダ間での効果的なゼロショット転移に十分か？
• RQ4 異なるエンコーダから線形プロンプトを介して視覚情報を転送する際に生じるエラーと制限は何か？

主な発見

• 線形射影は、凍結されたLMへ視覚情報を転送して、競争力のある性能でキャプションを生成し、質問に答えることができる。
• 性能は画像エンコーダの語彙的監督と相関する。CLIPとNF-ResNet50は多くのVLタスクでBEITを上回るが、BEITは粗い知覚情報の転送には依然として優れる。
• 線形射影のみを訓練するLiMBeRベースラインと比べて、画像エンコーダまたはLMの微調整は一貫して有益ではない。
• 語彙的監督を受けたエンコーダは語彙カテゴリー概念の転送を可能にする一方、視覚のみのエンコーダは主に粗い知覚情報を伝える。
• BEITプロンプトはよりあいまいなキャプションを出し、正確な語彙分類には苦労する傾向があるが、LMへの知覚的類似性は伝える。