[論文レビュー] Visual Prompt Tuning for Generative Transfer Learning

Kihyuk Sohn, Hao Yuan+6 more|arXiv (Cornell University)|Oct 3, 2022

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

本稿では、視覚変換器における生成的転移学習のためのビジュアルプロンプトチューニングを提案する。学習可能な視覚的プロンプトを画像トークン系列の先頭に付加することで、事前学習済みの生成的モデルを新しいドメインに適応させる。この手法は、最小限のファインチューニングで多様な視覚ドメインにおいて最先端の画像生成品質を達成し、ゼロショットおよびフェイワショット設定において従来手法を顕著に上回る性能を発揮する。

ABSTRACT

Transferring knowledge from an image synthesis model trained on a large dataset is a promising direction for learning generative image models from various domains efficiently. While previous works have studied GAN models, we present a recipe for learning vision transformers by generative knowledge transfer. We base our framework on state-of-the-art generative vision transformers that represent an image as a sequence of visual tokens to the autoregressive or non-autoregressive transformers. To adapt to a new domain, we employ prompt tuning, which prepends learnable tokens called prompt to the image token sequence, and introduce a new prompt design for our task. We study on a variety of visual domains, including visual task adaptation benchmark~\cite{zhai2019large}, with varying amount of training images, and show effectiveness of knowledge transfer and a significantly better image generation quality over existing works.

研究の動機と目的

• 限られたデータで、事前学習済みの生成的視覚変換器から新しい視覚ドメインへの効率的な知識移転を可能にすること。
• 大規模な生成的モデルのファインチューニングの課題に応じ、パラメータ効率の良い適応メカニズムを導入すること。
• プロンプトベースの適応を通じて、フェイワショットおよびゼロショット設定における画像生成品質を向上させること。
• 自己回帰的および非自己回帰的視覚変換器に特化した新しいプロンプト設計を開発すること。

提案手法

• フレームワークは、画像の視覚的トークン系列の先頭に付加される、学習可能な視覚的トークン（「プロンプト」として呼称）を採用する。
• プロンプトはファインチューニング中に最適化されるが、元の視覚変換器の重みは固定されたまま維持されるため、パラメータ効率の高い適応が可能になる。
• この手法は、画像生成を目的とした自己回帰的および非自己回帰的視覚変換器アーキテクチャの両方へ適用可能である。
• 下流ドメインにおける特徴表現および生成品質の向上を図る新しいプロンプト設計が導入されている。
• 訓練データ量を変化させた状況で、視覚的タスク適応ベンチマーク上で評価が実施されている。
• モデルは、プロンプトのみをトレーナブルパラメータとして使用し、標準的な生成的目的関数に従ってエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 限られたデータで、事前学習済みの視覚変換器を新しい視覚ドメインに効果的に適応できるか？
• RQ2 生成品質およびパラメータ効率の観点から、プロンプトチューニングはフルファインチューニングより優れているか？
• RQ3 プロンプト設計の性能に及ぼす影響は、視覚変換器における生成的転移学習にどのような影響を及えるか？
• RQ4 異なるデータ量を有する多様な視覚ドメインに、この手法が一般化可能か？
• RQ5 フェイワショットおよびゼロショット画像生成設定において、プロンプトチューニングが最先端の結果を達成できるか？

主な発見

• 提案手法は、複数のドメインにわたり、視覚的タスク適応ベンチマークにおいて最先端の画像生成品質を達成した。
• ビジュアルプロンプトチューニングは、フェイワショットおよびゼロショット設定の両方で、既存手法を顕著に上回った。
• 1ドメインあたりたった100枚の訓練画像でも、高い生成品質を維持した。
• このアプローチは、視覚変換器の重みを固定したままプロンプトトークンのみをチューニングするという強力なパラメータ効率性を示した。
• 新しいプロンプト設計により、ベースラインのプロンプト手法と比較して、より一貫性があり多様な画像生成が可能になった。
• フレームワークは、自然画像、スケッチ、医療画像を含む多様な視覚ドメインに、効果的に一般化した。