[論文レビュー] Understanding and Improving Visual Prompting: A Label-Mapping Perspective

Aochuan Chen, Yuguang Yao+3 more|arXiv (Cornell University)|Nov 21, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、ゼロショット転移精度を向上させるために、ラベルマッピング（LM）とビジョナルプロンプティングを共同最適化する新規なビジョナルプロンプティングフレームワーク、ILM-VPを提案する。バイレベル最適化を用いて、ソースクラスとターゲットクラス間のLMを繰り返し精錬することで、ILM-VPは最先端の性能を達成し、ImageNetで事前学習されたResNet-18を再プログラミングする際、Flowers102で7.9%、CIFAR100で6.7%の精度向上を達成した。また、CLIPベースのプロンプティングでは、Flowers102で13.7%の精度向上を達成した。

ABSTRACT

We revisit and advance visual prompting (VP), an input prompting technique for vision tasks. VP can reprogram a fixed, pre-trained source model to accomplish downstream tasks in the target domain by simply incorporating universal prompts (in terms of input perturbation patterns) into downstream data points. Yet, it remains elusive why VP stays effective even given a ruleless label mapping (LM) between the source classes and the target classes. Inspired by the above, we ask: How is LM interrelated with VP? And how to exploit such a relationship to improve its accuracy on target tasks? We peer into the influence of LM on VP and provide an affirmative answer that a better 'quality' of LM (assessed by mapping precision and explanation) can consistently improve the effectiveness of VP. This is in contrast to the prior art where the factor of LM was missing. To optimize LM, we propose a new VP framework, termed ILM-VP (iterative label mapping-based visual prompting), which automatically re-maps the source labels to the target labels and progressively improves the target task accuracy of VP. Further, when using a contrastive language-image pretrained (CLIP) model, we propose to integrate an LM process to assist the text prompt selection of CLIP and to improve the target task accuracy. Extensive experiments demonstrate that our proposal significantly outperforms state-of-the-art VP methods. As highlighted below, we show that when reprogramming an ImageNet-pretrained ResNet-18 to 13 target tasks, our method outperforms baselines by a substantial margin, e.g., 7.9% and 6.7% accuracy improvements in transfer learning to the target Flowers102 and CIFAR100 datasets. Besides, our proposal on CLIP-based VP provides 13.7% and 7.1% accuracy improvements on Flowers102 and DTD respectively. Our code is available at https://github.com/OPTML-Group/ILM-VP.

研究の動機と目的

• ビジョナルプロンプティング（VP）におけるラベルマッピング（LM）の役割を理解すること。これは、先行研究で無視されてきた要因である。
• 一貫性の欠如や任意のLMによる解釈不能性や性能の劣化を是正すること。
• ゼロショット転移学習における精度と説明可能性の向上を目的に、ビジョナルプロンプティングとラベルマッピングを共同最適化すること。
• 最適なテキストプロンプト選択を可能にするために、LMを統合することでCLIPベースのプロンプティングへのフレームワークの拡張を図ること。
• 既存の最先端手法を上回る包括的で説明可能かつ高精度なVPフレームワークを提供すること。

提案手法

• ソースクラスとターゲットクラス間のラベルマッピング（LM）を精錬し、ビジョナルプロンプティングと同時に学習するバイレベル最適化フレームワーク、ILM-VPを提案する。
• マッピングの精度と説明可能性の質を向上させる反復的ラベルマッピングプロセスを導入し、VP性能の向上を実現する。
• 入力の摂動とラベル割り当ての整合性を保証するため、ビジョナルプロンプティングとLM関数を同時に最適化するためのBLO（バイレベル最適化）定式化を採用する。
• 文脈統合済みテキストプロンプトを「仮想のソースラベル」として扱い、それらのマッピングをターゲットラベルに最適化することで、CLIPベースのプロンプティングにILM-VPフレームワークを適用する。
• 最適なテキストプロンプトテンプレートの選択をガイドするためのコントラスト学習目的関数を採用し、精度と意味的解釈可能性の両方を向上させる。
• 最適化されたLMをプロンプト生成パイプラインに統合し、CLIP用に高品質なテキストプロンプトを自動的かつ説明可能に選択可能にする。

Figure 1 : Overview of VP pipelines (prior art [ 1 , 2 ] and our proposal termed ILM-VP ) and accuracy improvement achieved by ILM-VP on target image classification tasks at-a-glance. Generally speaking, VP aims to generate a universal input perturbation template ( i.e. , ‘visual prompt’) and levera

実験結果

リサーチクエスチョン

• RQ1 ラベルマッピング（LM）は、ゼロショット転移学習におけるビジョナルプロンプティング（VP）の効果にどのように影響を与えるか？
• RQ2 ソースとターゲットクラス間のラベルマッピングが一見任意的または規則のない場合でも、なぜVPが依然として有効に機能するのか？
• RQ3 ラベルマッピングの反復的精錬は、ビジョナルプロンプティングの精度と解釈可能性を向上させることができるか？
• RQ4 CLIPベースのビジョナルプロンプティングにおいて、ラベルマッピングを体系的に最適化することで、下流タスクの性能をどのように向上させられるか？
• RQ5 ビジョナルプロンプティングとラベルマッピングを共同設計することで、精度と説明可能性の両面で既存のVP手法を上回ることができるか？

主な発見

• ImageNetで事前学習されたResNet-18を再プログラミングする際、Flowers102データセットにおいて、ILM-VPは最先端のベースラインより7.9%の精度向上を達成した。
• CIFAR100では、最先端のビジョナルプロンプティング手法と比較して、ILM-VPは6.7%の精度向上を達成した。
• CLIPベースのプロンプティングでは、Flowers102で13.7%の精度向上、DTDで7.1%の向上を、ベースラインのVP+TP手法に対して達成した。
• 最適化されたラベルマッピングにより、より意味的に明確なテキストプロンプトテンプレートが得られ、例として「buttercup」に対して「a close-up photo of a {}」が「This is a photo of a {}」よりも優れている。
• ImageNet-R や ImageNet-Sketch といったドメインシフトベンチマークでも、選択されたプロンプトはドメイン固有の特徴を反映しており、解釈可能性が向上した。
• 13の多様なターゲットデータセットにわたり一貫した性能向上を示し、ILM-VPフレームワークの汎用性とロバスト性を確認した。

Figure 2 : Visualizations of RLM and FLM using the source dataset ImageNet-1K and the pretrained ResNet-18, as well as the target dataset Flowers102. In FLM, the pre-prompt label mapping using ( 6 ) selects source labels different from FLM. Yet, the post-prompt label mapping using ( 6 ) at $\boldsym