[論文レビュー] Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization

Xin Zhang, Yusuke Iwasawa+2 more|arXiv (Cornell University)|Nov 25, 2021

Domain Adaptation and Few-Shot Learning参考文献 40被引用数 4

ひとこと要約

本稿では、ドメイン一般化におけるCLIPのための軽量なファインチューニング手法であるAmortized Prompt (AP) を提案する。APは推論時にドメイン固有のプロンプトを生成するが、CLIPのパラメータを更新しない。プロンプトチューニングを用いることで、CLIPのパラメータを更新せずに標準的なDGベンチマーク上で精度を71.3%から79.3%まで向上させ、計算量を最小限に抑えながら顕著な性能向上を達成した。

ABSTRACT

Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model to unseen domains. Recent massive pre-trained models such as CLIP and GPT-3, i.e. foundation models (FMs), have been shown to be robust to many distribution shifts and therefore should lead to substantial improvements in DG. In this work, we study generic ways to adopt CLIP for DG problems in image classification, where we evaluate on naive zero-shot learning and full DG learning settings. For the latter, we propose AP (Amortized Prompt), as a novel approach for domain inference in the form of prompt generation. Using several standard datasets on domain generalization benchmark, namely PACS, VLCS, OfficeHome, and TerraIncognita, CLIP provides comparable performance without fine-tuning any parameters, suggesting the applicability and importance of FM in DG. In addition, we show that combining domain prompt inference with CLIP enables AP to outperform strong baselines and the naive CLIP baselines by a large margin, raising accuracy from 71.3\% to 79.3\%. We hope the simplicity and success of our approach emphasizes the importance of and leads to wider more adoption and analysis of foundation models in the field of domain generalization.

研究の動機と目的

• ファインチューニングを完全に行わずに、CLIPのようなフォーデーションモデルがドメイン一般化（DG）で果たせる可能性を調査すること。
• 分布シフト下での画像分類において、CLIPを未学習ドメインに適応する課題に対処すること。
• プロンプト工学を用いて、パラメータ効率の良いドメイン不変表現学習の方法を開発すること。
• ドメイン固有のプロンプト生成によって、DG設定におけるナーブなゼロショットCLIP性能を向上させること。

提案手法

• 推論時にCLIPのパラメータを更新せずにドメイン固有のプロンプトを生成するAmortized Prompt (AP) を提案する。
• 推論中に各ドメインの最適なテキストプロンプトをプロンプトエンコーダーが予測することで、ドメイン一般化を実現する。
• CLIPのビジョンエンコーダーやテキストエンコーダーのファインチューニングを回避する、軽量でパラメータ効率の良いプロンプトチューニングを適用する。
• ソースドメイン上でプロンプトジェネレータを学習させ、推論時に未観測ドメインへ一般化できるようにする。
• ドメイン全体にわたって amortized される微分可能で効率的なプロンプト生成メカニズムを採用し、推論ごとのコストを低減する。
• 生成されたプロンプトをCLIPのゼロショット分類ヘッドと組み合わせ、未学習ドメインにおけるエンドツーエンド推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングなしで、CLIPのようなフォーデーションモデルがドメイン一般化で強力な性能を発揮できるか？
• RQ2 プロンプトベースの適応は、未学習ドメインにわたるCLIPの一般化性能をどれほど向上させられるか？
• RQ3 軽量でパラメータ効率の良いプロンプト生成手法は、DGで強力なベースラインを上回れるか？
• RQ4 ドメイン固有のプロンプトチューニングは、DGベンチマークにおけるゼロショットCLIP性能にどのような影響を与えるか？

主な発見

• CLIPは、パラメータの更新なしにドメイン一般化ベンチマークで競争力のある性能（71.3%）を示しており、強力なゼロショットのロバストネスを示している。
• 提案されたAmortized Prompt (AP) 手法により、標準的なDGベンチマーク上で精度が79.3%まで向上し、ナーブなCLIPおよび強力なベースラインを顕著に上回った。
• APはCLIPのパラメータをファインチューニングしないため、計算コストの増加が最小限に抑えられ、非常に低い計算オーバーヘッドで実現された。
• 未学習ドメインに対しても効果的に一般化できており、強力なドメイン一般化能力を示した。
• APの成功は、効率的なプロンプト工学と組み合わせたフォーデーションモデルのDGにおける潜在的可能性を浮き彫りにした。
• 結果から、ドメイン一般化において、完全なファインチューニングの代替として、プロンプトベースの適応が有望で効率的な代替手段であると考えられる。