[論文レビュー] Unified Multimodal Pre-training and Prompt-based Tuning for Vision-Language Understanding and Generation

Tianyi Liu, Zuxuan Wu+3 more|arXiv (Cornell University)|Dec 10, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、事前学習中に双方向マスクと因果マスクを組み合わせることで、理解と生成の両方の機能を統合した、UniVLと呼ばれる統合型ビジョン・言語事前学習フレームワークを提案する。下流のタスクをプロンプトベースのチューニングによりテキスト生成として定式化することで、ビジョン・言語理解および生成タスクの両方で競争力のある性能を達成し、少データ設定におけるデータ効率性が優れている。

ABSTRACT

Most existing vision-language pre-training methods focus on understanding tasks and use BERT-like objectives (masked language modeling and image-text matching) during pretraining. Although they perform well in many understanding downstream tasks, e.g., visual question answering, image-text retrieval and visual entailment, they do not possess the ability to generate. To tackle this problem, we propose Unified multimodal pre-training for both Vision-Language understanding and generation (UniVL). The proposed UniVL is capable of handling both understanding tasks and generative tasks. We augment existing pretraining paradigms that only use random masks with causal masks, i.e., triangular masks that mask out future tokens, such that the pre-trained models can have autoregressive generation abilities by design. We formulate several previous understanding tasks as a text generation task and propose to use prompt-based method for fine-tuning on different downstream tasks. Our experiments show that there is a trade-off between understanding tasks and generation tasks while using the same model, and a feasible way to improve both tasks is to use more data. Our UniVL framework attains comparable performance to recent vision-language pre-training methods on both understanding tasks and generation tasks. Moreover, we demostrate that prompt-based finetuning is more data-efficient - it outperforms discriminative methods in few-shot scenarios.

研究の動機と目的

• 既存のビジョン・言語モデルが理解タスクにのみ焦点を当てており、生成機能を欠いているという制限を解消すること。
• 単一の共有アーキテクチャ内でビジョン・言語理解と生成の両方のマルチモodal事前学習を統合すること。
• タスク固有の分類器の代わりにプロンプトベースのファインチューニングを活用することで、少データ一般化性能を向上させること。
• 統合モデルにおける理解と生成のパフォーマンスのトレードオフを調査すること。
• 因果マスクと学習可能なプロンプト設計が、生成的および識別的機能を強化する有効性を評価すること。

提案手法

• 生成をアレイティブに可能にするために、標準の双方向マスクに加えて、事前学習中に因果（三角形）マスクを追加する。
• 画像とテキストエンコーダーを備えたマルチモーダルトランスフォーマーを用い、クロスアテンション統合により共同表現学習を実現する。
• VQA や視覚的含意などの分類ベースの理解タスク（例：VQA、視覚的含意）を、[MASK]トークンを挿入することでマスク言語モデルタスクに再定式化する。
• モデルの生成をガイドするための学習可能な[unused]トークンをプロンプトとして用い、プロンプトの位置と長さをパフォーマンス最適化する。
• モデルが画像とテキスト入力を条件として[MASK]トークンを予測するように、プロンプトベースの生成によるファインチューニングを実施する。
• 線形分類器を用いた判別的ファインチューニングと比較し、両者を理解と生成のベンチマークで評価する。

実験結果

リサーチクエスチョン

• RQ1 理解と生成の両方のタスクを別々のアーキテクチャを用いずに、1つの統合型ビジョン・言語モデルで効果的に処理できるか？
• RQ2 事前学習中に因果マスクを含めることで、モデルの生成能力にどのような影響を与えるか？
• RQ3 判別的ファインチューニングと比較して、プロンプトベースのファインチューニングは、少データ環境でのパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 統合型事前学習設定において、理解と生成のパフォーマンスのトレードオフはどのように変化するか？
• RQ5 プロンプトの位置と長さは、下流タスクにおけるプロンプトベースのチューニングの有効性にどのように影響するか？

主な発見

• 事前学習中に因果マスクを追加することで、画像キャプション生成の生成性能が顕著に向上する一方、理解タスクのパフォーマンスはわずかに低下する。
• 理解と生成のパフォーマンスの間にはトレードオフが存在するが、事前学習データを増やすことでこの不均衡が緩和され、両方のタスクに利益をもたらす。
• プロンプトベースのファインチューニングは、理解タスクにおいて判別的手法と同等のパフォーマンスを達成し、特に少データ状況で顕著に優れている。
• VQA や視覚的含意タスクでは、低データ環境下でプロンプトベースの生成が判別的手法を上回り、より優れた一般化性能を示す。
• 最適なプロンプト長は約16トークンであり、より長いプロンプト（例：32トークン）は精度向上に限界をもたらす。
• プロンプトを入力シーケンスの中間に配置する（例：[QUESTION] + [CTX] + [MASK]）ことで、特にVQAや視覚的含意タスクにおいて、プロンプトを先頭に配置するよりも高いパフォーマンスが得られる。