[論文レビュー] VL-GPT: A Generative Pre-trained Transformer for Vision and Language Understanding and Generation

Jinguo Zhu, Xiaohan Ding+6 more|arXiv (Cornell University)|Dec 14, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

VL-GPT は、一括自己回帰的目的を用いてエンドツーエンドのマルチモーダル理解と生成を可能にする統合型生成事前学習トランスフォーマーです。学習可能な画像トークナイザー・デトークナイザー枠組みを導入することで、生画像を連続的視覚埋め込みにマッピングし、逆に元に戻すことが可能となり、画像とテキストが交互に配置されたシーケンスを一様に処理・生成できるようになります。これにより、視覚言語タスクにおいて強力なゼロショットおよびフェイントショット性能を達成しています。

ABSTRACT

In this work, we introduce Vision-Language Generative Pre-trained Transformer (VL-GPT), a transformer model proficient at concurrently perceiving and generating visual and linguistic data. VL-GPT achieves a unified pre-training approach for both image and text modalities by employing a straightforward auto-regressive objective, thereby enabling the model to process image and text as seamlessly as a language model processes text. To accomplish this, we initially propose a novel image tokenizer-detokenizer framework for visual data, specifically designed to transform raw images into a sequence of continuous embeddings and reconstruct them accordingly. In combination with the existing text tokenizer and detokenizer, this framework allows for the encoding of interleaved image-text data into a multimodal sequence, which can subsequently be fed into the transformer model. Consequently, VL-GPT can perform large-scale pre-training on multimodal corpora utilizing a unified auto-regressive objective (i.e., next-token prediction). Upon completion of pre-training, VL-GPT exhibits remarkable zero-shot and few-shot performance across a diverse range of vision and language understanding and generation tasks, including image captioning, visual question answering, text-to-image generation, and more. Additionally, the pre-trained model retrains in-context learning capabilities when provided with multimodal prompts. We further conduct instruction tuning on our VL-GPT, highlighting its exceptional potential for multimodal assistance. The source code and model weights shall be released.

研究の動機と目的

• 画像入力と生成の別々のモデリングを不要にする、単一の自己回帰的目的に基づく視覚と言語の事前学習の統合。
• 従来のマルチモーダルモデルにおける入力と出力の間の画像表現の不一致を解消し、一貫性のある視覚埋め込みモデリングを可能にする。
• テキスト、画像、および交互に配置された出力を含むエンドツーエンドのマルチモーダル生成を、統一されたシーケンスモデリングフレームワークを通じて実現する。
• 汎用的支援のための、コンテキスト内学習およびインstructチューニングの潜在的可能性を、マルチモーダル生成モデルにおいて探求する。
• CLIPおよび拡散モデルからの二重の監督を用いて、両方の画像の詳細と意味的コンテンツを保持するトークナイザー・デトークナイザー枠組みを開発する。

提案手法

• 生画像を連続的視覚埋め込みに変換し、ピクセル空間に再構築する、学習可能な画像トークナイザー・デトークナイザー枠組みを提案。これは、LLMにおけるテキストトークナイゼーションと類似している。
• トークナイザーとデトークナイザーの学習に、事前学習済みのCLIPの画像およびキャプション埋め込みを監督として用い、豊かな意味的・知覚的忠実度を確保する。
• 事前学習済みの画像エンコーダーと高品質な拡散モデルからの重み初期化を用いた共同学習により、効率性と性能を向上させる。
• テキストのBPEトークナイゼーションと視覚埋め込みシーケンスを用いて、画像とテキストが交互に配置されたデータを統一されたマルチモーダルシーケンスにエンコードし、自己回帰的モデリングを可能にする。
• 混合損失を適用：視覚埋め込みには平均二乗誤差（MSE）、テキストトークンには交差エントロピーを用い、複数モodal間での共同次トークン予測を可能にする。
• 再構築品質と意味的整合性を向上させるために、デトークナイゼーション時にテキストと画像の条件埋め込みの両方を活用する。

実験結果

リサーチクエスチョン

• RQ1 共通のトランスフォーマー・アーキテクチャを用いて、視覚と言語モダリティの両方に対して統合的な自己回帰的目的を適用可能か？
• RQ2 学習可能な画像トークナイザー・デトークナイザー枠組みは、エンドツーエンドのマルチモーダル生成において、画像の詳細と意味をどれほど保持できるか？
• RQ3 テキストと画像の条件埋め込みを同時に推定することで、画像再構築と下流のマルチモーダルタスクの性能が向上するか？
• RQ4 マルチモーダルなデモンストレーションを用いたコンテキスト内学習により、VL-GPTはゼロショットおよびフェイントショットの視覚言語タスクに一般化可能か？
• RQ5 インstructチューニングは、多様な生成および理解タスクにおけるマルチモーダルアシスタントとしてのVL-GPTの能力をどの程度向上させるか？

主な発見

• VL-GPT は、画像キャプション生成、視覚的質問応答、テキストから画像生成のタスクにおいて、最先端のゼロショット性能を達成した。
• VQAv2ベンチマークでは、フェイントショット設定（k=2）で57.2％の正答率を達成し、同じフェイントショット条件下で先行手法を上回った。
• モデルは強力なコンテキスト内学習を示した：VQAタスクにおける性能は、プロンプト内のフェイントショット例の数が増えるにつれて向上し、正の相関関係を示した。
• アブレーションスタディにより、テキストと画像の条件埋め込み（eₜ + eᵥ）の両方を用いることで、最良の画像再構築品質と下流タスク性能が得られることを確認した。
• 定性的な結果から、VL-GPT は長く複雑なテキストプロンプトから非常に現実的な画像を生成でき、マルチターン対話においてもマルチモーダルの一貫性を維持していることがわかった。
• インstructチューニングにより、VL-GPT は柔軟で文脈に適応したテキストおよび画像の生成が可能な、多用途のマルチモーダルアシスタントとしての機能を有するようになった。