[論文レビュー] PromptStyler: Prompt-driven Style Generation for Source-free Domain Generalization

Junhyeong Cho, Gilhyun Nam+3 more|arXiv (Cornell University)|Jul 27, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

PromptStyler は、ソースドメインの画像を一切使用せずに、学習可能なスタイルワードベクトルを用いて共同ビジョン・ランゲージ空間で多様な画像スタイルを合成する、プロンプト駆動型のスタイル生成手法を提案する。CLIPの潜在空間においてスタイルの多様性を最大化し、コンテンツの一貫性を保持することで、PACS、VLCS、OfficeHome、DomainNet のベンチマークで最先端の性能を達成する。

ABSTRACT

In a joint vision-language space, a text feature (e.g., from "a photo of a dog") could effectively represent its relevant image features (e.g., from dog photos). Also, a recent study has demonstrated the cross-modal transferability phenomenon of this joint space. From these observations, we propose PromptStyler which simulates various distribution shifts in the joint space by synthesizing diverse styles via prompts without using any images to deal with source-free domain generalization. The proposed method learns to generate a variety of style features (from "a S* style of a") via learnable style word vectors for pseudo-words S*. To ensure that learned styles do not distort content information, we force style-content features (from "a S* style of a [class]") to be located nearby their corresponding content features (from "[class]") in the joint vision-language space. After learning style word vectors, we train a linear classifier using synthesized style-content features. PromptStyler achieves the state of the art on PACS, VLCS, OfficeHome and DomainNet, even though it does not require any images for training.

研究の動機と目的

• トレーニング時にソースドメインのデータが利用できない状況におけるドメイン一般化の課題に対処すること。
• 実際の画像にアクセスせずに、事前学習済みビジョン・ランゲージモデルの潜在空間において、多様な分布シフトをシミュレートすること。
• 学習可能なスタイルワードベクトルを用いて、コンテンツ情報を保持したまま、多様で現実的なスタイルを生成すること。
• ソースドメインの画像を一切使用せず、テキストプロンプトと事前学習済み特徴量のみを用いて、複数のドメイン一般化ベンチマークで最先端の性能を達成すること。

提案手法

• 『[クラス] の $\boldsymbol{S_{*}}$ スタイル』のようなプロンプトを用いて、共同ビジョン・ランゲージ空間でスタイル特徴を生成するため、擬似語 $\boldsymbol{S_{*}}$ のためのスタイルワードベクトルを学習する。
• ハイパースフェアな潜在空間において、スタイル特徴が直交するよう促進することで、スタイルの多様性を最大化する。そのために $\mathcal{L}_{\mathrm{style}}$ を使用する。
• スタイル特徴とコンテンツ特徴が、対応するコンテンツ特徴に近づくように保証することで、コンテンツの一貫性を強制する。そのために $\mathcal{L}_{\mathrm{content}}$ を使用する。
• コンテンツプロンプトからのクラスラベルを用いて、合成されたスタイル・コンテンツ特徴上で線形分類器を訓練し、画像エンコーダーを介して実画像に対する推論を可能にする。
• CLIP の事前学習済みテキストおよび画像エンコーダーを用いて、プロンプトと画像を共有の埋め込み空間に投影する。
• 実際のデータを一切使用せずに、効果的なドメインシフトのシミュレーションを可能にするために、スタイルの多様性とコンテンツの一貫性の両方の損失を用いて、スタイルワードベクトルを最適化する。

Figure 1: Motivation of our method. (a) Text features could effectively represent various image styles in a joint vision-language space. (b) PromptStyler synthesizes diverse styles in a joint vision-language space via learnable style word vectors for pseudo-words $\boldsymbol{S_{*}}$ without using a

実験結果

リサーチクエスチョン

• RQ1 事前学習済みビジョン・ランゲージモデルの潜在空間において、ソースドメインの画像を一切使用せずに、ドメインシフトを効果的にシミュレートできるか？
• RQ2 学習可能なワードベクトルとテキストプロンプトのみを用いて、多様でありながらコンテンツを保持するスタイルを生成する方法は何か？
• RQ3 プロンプト駆動型アプローチは、ソースフリーのドメイン一般化において最先端の性能を達成できるか？
• RQ4 スタイルの多様性とコンテンツの一貫性は、ゼロショットドメイン適応設定におけるモデルの一般化性能にどのような影響を与えるか？

主な発見

• PromptStyler は、ソースドメインの画像を一切使用せず、PACS（93.2%）、VLCS（82.3%）、OfficeHome（73.6%）、DomainNet（49.5%）で最先端の正確性を達成した。
• すべてのベンチマークで CLIP よりも大きく性能を上回り、特にソースデータを一切使用していないにもかかわらず、Terra Incognita でトップ1正確性が 30.5% 上昇した。
• 5つの学習可能なスタイルワードベクトルのみを用いても、PromptStyler は既存の CLIP の性能をすでに上回っており、高いサンプル効率を示している。
• アブレーションスタディの結果、$\mathcal{L}_{\mathrm{style}}$ と $\mathcal{L}_{\mathrm{content}}$ の両方が不可欠であることが確認された。いずれかを欠如させると性能が著しく低下した。
• 20個のスタイルワードベクトルと各ベクトルあたり20回の訓練イテレーションで最適な性能が達成された。これは、高速な収束性と低い計算コストを示している。
• ArcFace 損失の使用により、標準的な Softmax よりも正確性が向上した。これは、ハイパースフェアな埋め込み最適化の利点を示している。

Figure 2: Important factors in the proposed method. PromptStyler learns style word vectors for pseudo-words $\boldsymbol{S_{*}}$ which lead to diverse style features (from “a $\boldsymbol{S_{*}}$ style of a”) while preserving content information encoded in style-content features (from “a $\boldsymbo