[論文レビュー] What Makes for Good Visual Tokenizers for Large Language Models?

Guangzhi Wang, Yixiao Ge+3 more|arXiv (Cornell University)|May 20, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿は、マルチモodal Large Language Models (MLLMs) のための視覚トカナイザーを調査し、自己教師ありモデルが微細な認識において優れる一方で、教師ありモデルが意味をよりよく保持することを発見した。著者らは、マスキングを伴わないCLIPのパッチ特徴を蒸留するGVTという視覚トカナイザーを提案し、パラメータの増加やタスク固有のチューニングなしに、VQA、画像キャプション、オブジェクト数え上げ、マルチクラス識別において最先端の性能を達成した。

ABSTRACT

We empirically investigate proper pre-training methods to build good visual tokenizers, making Large Language Models (LLMs) powerful Multimodal Large Language Models (MLLMs). In our benchmark, which is curated to evaluate MLLMs visual semantic understanding and fine-grained perception capabilities, we discussed different visual tokenizers pre-trained with dominant methods (i.e., DeiT, CLIP, MAE, DINO), and observe that: i) Fully/weakly supervised models capture more semantics than self-supervised models, but the gap is narrowed by scaling up the pre-training dataset. ii) Self-supervised models are better at fine-grained perception, where patch-level supervision is particularly effective. iii) Tuning the visual tokenizer leads to the loss of semantics obtained from large-scale pretraining, which is unfavorable with relatively small-scale instruction-tuning dataset. Given the findings, we reviewed methods that attempted to unify semantics and fine-grained visual understanding, e.g., patch-level feature distillation with semantically-rich targets. We obtain an intriguing insight mask-based strategies that were once all the rage may not be applicable for obtaining good visual tokenizers. Based on this critical observation, we obtain a new MLLM equipped with a tailored Good Visual Tokenizer (GVT), which exhibits strong visual comprehension capability at multiple scales. In particular, without introducing extra parameters and task-specific fine-tuning, GVT achieves superior performance on visual question answering, image captioning, and other fine-grained visual understanding tasks such as object counting and multi-class identification.

研究の動機と目的

• MLLMフレームワーク下での意味的理解と微細な認識の両方において、視覚トカナイザーを評価・比較すること。
• 特にマスキングを伴う戦略が、指示チューニング中に意味を保持するのを妨げる既存の事前学習手法の限界を特定すること。
• 強力な意味的表現と高精度な微細な視覚的認識を統合する視覚トカナイザーを設計すること。
• エンド・トゥ・エンドのチューニング中にトレーニング・テスト分布の不一致や意味的劣化を回避する方法を開発すること。

提案手法

• 意味的（VQA、キャプション）および微細な（オブジェクト数え上げ、マルチクラス識別）タスクにおける視覚理解を評価するための新規ベンチマーク、GVTBenchを整備した。
• 同じMLLMアーキテクチャ上で、DeiT（完全に教師あり）、CLIP（弱教師あり）、MAE/DINO/DINOv2（自己教師あり）によって事前学習された視覚トカナイザーを評価した。
• マスキングや[MASK]トークンを用いないことで、トレーニングとテストの不一致を回避するため、CLIPのパッチ特徴から特徴を蒸留する方法でGVTを提案した。
• 意味的豊かさを保持しつつ、領域レベルの理解を強化するために、CLIP特徴を蒸留中の意味的ターゲットとして用いた。
• 追加のパラメータを導入せず、Vicunaとエンド・トゥ・エンドでGVTをトレーニングした。
• 小規模な指示チューニングデータセット上で、固定済みとチューナブルな視覚トカナイザーを比較し、指示チューニング中の意味的保持度を評価した。

Figure 1: Different tasks require visual understanding of different perspectives. Mainstream vision-language tasks, e.g. , (a) VQA and (b) Image Captioning mainly focus on semantic understanding of the image. In this work, we also study two fine-grained visual understanding tasks: (c) Object Countin

実験結果

リサーチクエスチョン

• RQ1 教師あり、弱教師あり、自己教師ありの異なる事前学習パラダイムが、MLLMにおける視覚トカナイザーの性能にどのように影響を与えるか？
• RQ2 MAE や MIM のようなマスキングを伴う事前学習戦略は、MLLM環境下の視覚トカナイザーに効果的に適用可能か？ トレーニング・テストの分布シフトを引き起こさないか？
• RQ3 小規模な指示チューニングデータセット上で視覚トカナイザーを共同でチューニングすると、固定済みの視覚エンコーダーと比較して意味的劣化が生じるか？
• RQ4 強力な意味的表現と微細な視覚的認識を同時に実現できる統合的視覚トカナイザーを設計可能か？

主な発見

• 完全におよび弱教師ありの視覚トカナイザー（例：DeiT, CLIP）は、自己教師ありモデル（例：DINO, MAE）よりも意味的理解において優れているが、大規模な事前学習データセットを用いることでその差は縮む。
• 自己教師ありモデル、特にパッチレベルの監督を伴うモデルは、オブジェクト数え上げやマルチクラス識別といった微細な認識タスクで優れた性能を示す。
• 小規模な指示チューニングデータセット上で視覚トカナイザーを共同でチューニングすると、顕著な意味的劣化が生じ、固定済みCLIPが意味的タスクでチューナブルCLIPを上回る。
• マスキングを伴う事前学習戦略（例：MAE, MIM）はトレーニング・テストの不一致を引き起こし、MLLMの学習には不適切である。これは、エンド・トゥ・エンド最適化を必要とし、意味的保持を損なうからである。
• マスキングなしにCLIPのパッチ特徴から新しいモデルへの特徴蒸留は、意味的豊かさを保持しつつ、領域レベルの理解を強化するのに成功した。
• 提案されたGVTトカナイザーは、追加のパラメータやタスク固有のチューニングなしに、VQA、画像キャプション、オブジェクト数え上げ、マルチクラス識別において最先端の性能を達成した。

Figure 2: Framework of our GVT. We first distill the features of a pretrained CLIP via smoothed $\mathcal{L}_{1}$ loss. Then, we use it to encode images into a set of tokens, which are fed into the Perceiver Resampler [ 33 ] as soft prompts. Together with language instructions, these prompts are fed