[論文レビュー] Perspectives and Prospects on Transformer Architecture for Cross-Modal Tasks with Language and Vision

Andrew Shin, Masato Ishii+1 more|arXiv (Cornell University)|Mar 6, 2021

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

この論文は、言語と視覚を統合するクロスマダルタスクにおけるトランスフォーマー・アーキテクチャの進化と影響をレビューし、事前学習スキームとアーキテクチャ的革新に焦点を当てる。CNN-RNNパイプラインからエンドツーエンドのトランスフォーマーへのシフトを強調し、ViT や ViLT といったモデルが CNN を使用しない視覚表現の可能性を示している。生成モデル分野における前向きな展望、たとえばテキストから画像を生成する技術についても検討し、効率性と性能向上の主な進展を示している。

ABSTRACT

Transformer architectures have brought about fundamental changes to computational linguistic field, which had been dominated by recurrent neural networks for many years. Its success also implies drastic changes in cross-modal tasks with language and vision, and many researchers have already tackled the issue. In this paper, we review some of the most critical milestones in the field, as well as overall trends on how transformer architecture has been incorporated into visuolinguistic cross-modal tasks. Furthermore, we discuss its current limitations and speculate upon some of the prospects that we find imminent.

研究の動機と目的

• 言語と視覚の間のクロスマダル学習におけるトランスフォーマー・アーキテクチャの変革的役割を分析すること。
• 事前学習スキームとアーキテクチャ的変更が、視覚言語的タスクのパフォーマンスにどのように向上をもたらしたかを検討すること。
• 畳み込みニューラルネットワーク（CNN）を純粋なトランスフォーマーに基づく視覚エンコーダーに置き換える可能性を調査すること。
• テキストから画像を生成するような、テキスト-画像合成を含む、生成的クロスマダルモデリング分野における新たな可能性を探索すること。
• ハイブリッドなCNN-RNNまたはCNN-Transformerアーキテクチャと比較して、トランスフォーマー専用モデルの計算効率とスケーラビリティを評価すること。

提案手法

• BERT、GPT、ViT、ViLBERT などの分野の主要なマイルストーンを調査し、クロスマダルモデリングの進化をたどること。
• 言語・視覚の統合的表現に適応されたトランスフォーマーのアーキテクチャ的変更を分析すること。これには、クロスアテンションメカニズムやモダリティ固有のトークン化が含まれる。
• マルチモーダルな設定におけるマスクド言語モデリングや対照的学習といった事前学習目的の評価。
• パッチ埋め込みと自己注意機構を用いて畳み込み特徴抽出を置き換える、Vision Transformer (ViT) や ViLT といったCNNフリーの視覚モデルをレビューすること。
• DALL·E や StyleCLIP といった生成的応用を検討し、トランスフォーマーに基づく言語モデルと、拡散法やGANベースの画像生成を組み合わせたもの。
• ViT と ResNets を比較するベンチマークを通じて、計算効率とメモリ使用量を評価。蒸留技術を用いたパフォーマンス-コストのトレードオフの改善も含む。

Figure 1: A brief timeline showing important models in vision (upper) and language (lower) domains respectively, and how they have affected approaches in cross-modal domains (middle).

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー・アーキテクチャは、視覚と言語タスクにおけるクロスマダルモデルの設計にどのように変化をもたらしたか？
• RQ2 純粋なトランスフォーマーに基づく視覚エンコーダーは、マルチモーダル学習において畳み込みニューラルネットワーク（CNN）をどの程度代替できるか？
• RQ3 マルチモーダルな設定において、特にマスクド言語モデリングと対照的学習といった事前学習スキームの主な違いと利点は何か？
• RQ4 エンドツーエンドのトランスフォーマー専用モデルは、計算効率を向上させながらも、最先端のパフォーマンスを達成できるか？
• RQ5 トランスフォーマーに基づくアーキテクチャを用いた、テキストから画像を生成するような生成的クロスマダルタスクの将来の可能性は何か？

主な発見

• Vision Transformer (ViT) は、ResNets と同等の性能を達成しながら、最大で4倍のメモリ効率を示しており、視覚表現におけるCNNの代替可能性が強く示唆されている。
• ViLT や UniT といったモデルは、エンドツーエンドのトランスフォーマー専用アーキテクチャがCNN-RNNベースラインと同等またはそれを上回ることを示しており、最大で60倍の推論速度向上が達成されている。
• 手動でアノテートされたデータセット上で事前学習することは、弱い監視付き事前学習よりもデータ効率が良いが、十分なデータ量があれば、大規模な弱い監視付き学習でも補える。
• ターゲットタスク固有のデータセットでの微調整は、汎用的な事前学習よりも優れたパフォーマンスをもたらすため、タスク固有の適応の重要性が浮き彫りになっている。
• DALL·E や StyleCLIP といった生成モデルは、GPT-3に基づく言語モデルが離散的VAEトークン化を用いて、テキストプロンプトから多様で高品質な画像を生成できることを示している。
• CNNフリーでトランスフォーマーに特化したモデルの登場は、マルチモーダル学習のための統一的かつハードウェア最適化されたアーキテクチャへのパラダイムシフトを示唆している。

Figure 2: Visualization of representative cross-modal models in terms of dataset size used for pre-training, performance as measured by VQA task, the type of pre-training objectives employed, and the model size. The size of block for respective model corresponds to the size of the model, as approxim