[論文レビュー] Towards a Unified Foundation Model: Jointly Pre-Training Transformers on Unpaired Images and Text

Qing Li, Boqing Gong+5 more|arXiv (Cornell University)|Dec 14, 2021

Advanced Neural Network Applications被引用数 9

ひとこと要約

この論文は、モダリティ固有のトークナイザー、共有のトランスフォーマー畳み込み層、およびタスク固有のヘッドを用いて、ペairされない画像とテキストの両方を共同で事前学習する統合的基盤トランスフォーマー、ViT-BERTを提案する。事前学習済みのBERTとViT教師からの知識蒸留と、勾配マスク戦略を導入し、マルチモーダル学習のバランスを図ることで、視覚およびNLPベンチマークで別々のモデルに近い性能を達成した。

ABSTRACT

In this paper, we explore the possibility of building a unified foundation model that can be adapted to both vision-only and text-only tasks. Starting from BERT and ViT, we design a unified transformer consisting of modality-specific tokenizers, a shared transformer encoder, and task-specific output heads. To efficiently pre-train the proposed model jointly on unpaired images and text, we propose two novel techniques: (i) We employ the separately-trained BERT and ViT models as teachers and apply knowledge distillation to provide additional, accurate supervision signals for the joint training; (ii) We propose a novel gradient masking strategy to balance the parameter updates from the image and text pre-training losses. We evaluate the jointly pre-trained transformer by fine-tuning it on image classification tasks and natural language understanding tasks, respectively. The experiments show that the resultant unified foundation transformer works surprisingly well on both the vision-only and text-only tasks, and the proposed knowledge distillation and gradient masking strategy can effectively lift the performance to approach the level of separately-trained models.

研究の動機と目的

• 1つのトランスフォーマー・モデルを視覚および自然言語処理タスクの両方のための学習が可能かどうかを検証すること。
• モダリティのアライメントなしにペアされない画像とテキストデータの共同事前学習の課題に対処すること。
• 1つのモデルアーキテクチャを共有する際の視覚およびテキストタスクにおける性能の低下を最小限に抑えること。
• 相互に矛盾する勾配と限られた監視信号を伴う効果的なマルチモーダル事前学習を可能にする技術を開発すること。
• 統合モデルが、下流タスクで別々に事前学習されたBERTとViTと同等の性能を達成できることを検証すること。

提案手法

• 1. 画像とテキストのモダリティ固有のトークナイザー、共有のトランスフォーマー畳み込み層、およびタスク固有のヘッドを備えた統合トランスフォーマー・アーキテクチャを設計する。
• 2. 別々に事前学習済みのBERTとViTを教師モデルとして用い、共同学習中に知識蒸留信号を提供する。
• 3. 勾配の大きさに基づいてパラメータを段階的に選択的に更新する勾配マスク戦略を適用し、画像とテキストの事前学習のバランスを図る。
• 4. 両モダリティからの損失を組み合わせ、ペアされない画像・テキストデータ（例：Wikipedia）上でエンドツーエンドにモデルを学習する。
• 5. 学習中にマスクのスパarsityを段階的に増加させ、勾配の大きさが高いパラメータをテキスト事前学習に優先的に割り当てる。
• 6. 下流の視覚およびNLPタスクで統合モデルを微調整し、転送性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つのトランスフォーマー・モデルが、ペアされない画像とテキスト上で効果的に事前学習可能であり、視覚および言語タスクの両方のための統合的基盤モデルとして機能できるか？
• RQ2 事前学習済みのBERTとViTからの知識蒸留は、共同事前学習性能をどのように向上させるか？
• RQ3 勾配マスクは、画像とテキストの事前学習目的から生じる相互に矛盾する最適化信号を効果的に是正できるか？
• RQ4 統合モデルは、下流タスクで別々に学習されたBERTとViTの性能にどの程度近づけるか？
• RQ5 トランスフォーマー畳み込み層内の共有表現空間は、クロスモーダル意味的アライメントをサポートするか？

主な発見

• 共同で事前学習されたViT-BERTモデルは、画像分類および自然言語理解タスクの両方で優れた性能を示し、別々に学習されたBERTとViTに近い性能に達した。
• 事前学習済みのBERTとViTからの知識蒸留は、共同事前学習中に学習される表現の質を顕著に向上させた。
• 勾配マスク戦略は、画像とテキストの事前学習からの学習信号のバランスを効果的に図り、性能の低下を軽減した。
• トランスフォーマー畳み込み層の上位層は、画像とテキストの両方に対して活性化される共有の高レベル表現を発展させ、クロスモーダル意味的アライメントを示唆した。
• マスクのスパarsityは、より深いトランスフォーマー・ブロックで速やかに増加しており、高レベル特徴量がモダリティ間のパラメータ共有に適していることを示唆している。
• 定性的な分析では、深いブロック内のニューロンが、画像における「cat」とテキストの単語「cat」といった意味的に類似した概念を同時に活性化することがわかった。