[論文レビュー] Language Quantized AutoEncoders: Towards Unsupervised Text-Image Alignment

Hao Líu, Wilson Yan+1 more|arXiv (Cornell University)|Feb 2, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、教師あり画像・テキストペアデータを必要とせず、事前学習済みBERTコードブックを用いて画像とテキストトークンをアライメントする手法である言語量子化自己符号化器（LQAE）を提案する。画像をベクトル量子化により離散的テキストトークンに変換し、BERTベースのノイズ除去自己符号化器を用いて再構築することで、GPT-3などの大規模言語モデルを用いたFew-shot画像分類を可能にする。この手法は、数百万枚のアライメント済みペアで学習されたモデルと同等の性能を達成する。

ABSTRACT

Recent progress in scaling up large language models has shown impressive capabilities in performing few-shot learning across a wide range of text-based tasks. However, a key limitation is that these language models fundamentally lack visual perception - a crucial attribute needed to extend these models to be able to interact with the real world and solve vision tasks, such as in visual-question answering and robotics. Prior works have largely connected image to text through pretraining and/or fine-tuning on curated image-text datasets, which can be a costly and expensive process. In order to resolve this limitation, we propose a simple yet effective approach called Language-Quantized AutoEncoder (LQAE), a modification of VQ-VAE that learns to align text-image data in an unsupervised manner by leveraging pretrained language models (e.g., BERT, RoBERTa). Our main idea is to encode image as sequences of text tokens by directly quantizing image embeddings using a pretrained language codebook. We then apply random masking followed by a BERT model, and have the decoder reconstruct the original image from BERT predicted text token embeddings. By doing so, LQAE learns to represent similar images with similar clusters of text tokens, thereby aligning these two modalities without the use of aligned text-image pairs. This enables few-shot image classification with large language models (e.g., GPT-3) as well as linear classification of images based on BERT text features. To the best of our knowledge, our work is the first work that uses unaligned images for multimodal tasks by leveraging the power of pretrained language models.

研究の動機と目的

• 大規模言語モデルが視覚的データを処理できないという制限を克服し、ペア学習データを必要とせずに視覚・言語のアライメントを実現すること。
• 事前学習済み言語モデルのコードブックのみを用いて、アライメントされていない画像を意味のあるテキスト表現にマッピングできるかを検証すること。
• 画像の学習済みテキスト符号化表現を活用し、大規模言語モデルのコンテキスト内学習能力を活かしてFew-shot画像分類を実現すること。
• BERTを用いたノイズ除去自己符号化器による画像再構築が、視覚的・言語的モダリティを暗黙的にアライメントできるかを示すこと。

提案手法

• 視覚エンコーダーを用いて画像特徴を抽出し、16×16ピクセルのパッチに分割することで、1枚の画像あたり256個の埋め込みを生成する。
• 各画像埋め込みを、事前学習済みRoBERTa語彙埋め込みコードブック内の最も近い近傍にベクトル量子化し、離散的テキストトークンの系列を生成する。
• テキストトークン系列にBERTモデルを適用し、ランダムにマスクを施した上で、マスクされていないトークンから元の画像を再構築するように学習する。
• 自己符号化器はエンドツーエンドで訓練され、画像再構築損失を最小化することで、類似した画像が類似したテキストトークン系列にマッピングされるよう促進する。
• 学習済みテキストトークン系列は、線形プローブやGPT-3を用いたFew-shotプロンプティングなどの下流タスクに使用する。
• BERTコンponentを、ターゲットモダリティの任意の事前学習済みノイズ除去モデルに置き換えることで、他のモダリティへも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 ペア画像・テキストデータを一切使用せずに、画像をテキスト表現と効果的にアライメントできるか？
• RQ2 画像埋め込みから得たテキストトークンに対してノイズ除去自己符号化器を訓練することで、意味的な視覚的表現学習が可能になるか？
• RQ3 得られたテキストトークン系列を用いて、GPT-3のような大規模言語モデルを用いてFew-shot画像分類が可能になるか？
• RQ4 BERT微調整時のマスク率が下流性能に与える影響はいかほどか？
• RQ5 学習済みアライメントは、データスパarsityやモデルサイズの変動に対してどの程度頑健か？

主な発見

• LQAEは、数個のFew-shot例のみを用いてmini-ImageNetで競争力あるFew-shot画像分類精度を達成し、自明なベースラインを上回り、数百万枚のペア例で学習されたモデルと同等の性能を示した。
• BERT微調整時に50%のマスク率を用いても性能が高く維持されるため、再構築損失そのものが有効なアライメントを促すのに十分であることが示された。
• LQAEトークンの75%を保持しても強い性能を維持するため、学習済みコード系列に冗長性があることが示唆された。
• 大規模言語モデル（例：175BのGPT-3）は常に小規模モデルを上回り、6.7BパラメータのLQAEは、300万ペア例で学習された6BパラメータのFrozenモデルと同等の性能を示した。
• アブレーション実験から、VQ-VAEコードをRoBERTaコードブックに割り当てる手法は低性能に留まり、学習済みテキストトークンに非自明な言語的構造が活用されていることが示された。
• 学習中にBERT事前学習損失が欠落しても、性能にほとんど悪影響がなく、画像再構築がアライメントの主因であることが確認された。