[논문 리뷰] Understanding and Improving Visual Prompting: A Label-Mapping Perspective

Aochuan Chen, Yuguang Yao외 3명|arXiv (Cornell University)|2022. 11. 21.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 제로샷 전이 정확도를 향상시키기 위해 레이블 매핑(LM)과 시각적 프롬프팅을 공동 최적화하는 새로운 시각적 프롬프팅 프레임워크인 ILM-VP을 제안한다. 이중 최적화를 통해 소스 클래스와 타깃 클래스 간의 레이블 매핑을 반복적으로 개선함으로써, ILM-VP은 최신 기술 수준(SOTA)의 성능을 달성한다. ImageNet 미리 훈련된 ResNet-18을 재프로그래밍할 때 Flowers102에서 7.9% 향상되고, CIFAR100에서 6.7% 향상되며, CLIP 기반 프롬프팅에서는 Flowers102에서 13.7% 향상된다.

ABSTRACT

We revisit and advance visual prompting (VP), an input prompting technique for vision tasks. VP can reprogram a fixed, pre-trained source model to accomplish downstream tasks in the target domain by simply incorporating universal prompts (in terms of input perturbation patterns) into downstream data points. Yet, it remains elusive why VP stays effective even given a ruleless label mapping (LM) between the source classes and the target classes. Inspired by the above, we ask: How is LM interrelated with VP? And how to exploit such a relationship to improve its accuracy on target tasks? We peer into the influence of LM on VP and provide an affirmative answer that a better 'quality' of LM (assessed by mapping precision and explanation) can consistently improve the effectiveness of VP. This is in contrast to the prior art where the factor of LM was missing. To optimize LM, we propose a new VP framework, termed ILM-VP (iterative label mapping-based visual prompting), which automatically re-maps the source labels to the target labels and progressively improves the target task accuracy of VP. Further, when using a contrastive language-image pretrained (CLIP) model, we propose to integrate an LM process to assist the text prompt selection of CLIP and to improve the target task accuracy. Extensive experiments demonstrate that our proposal significantly outperforms state-of-the-art VP methods. As highlighted below, we show that when reprogramming an ImageNet-pretrained ResNet-18 to 13 target tasks, our method outperforms baselines by a substantial margin, e.g., 7.9% and 6.7% accuracy improvements in transfer learning to the target Flowers102 and CIFAR100 datasets. Besides, our proposal on CLIP-based VP provides 13.7% and 7.1% accuracy improvements on Flowers102 and DTD respectively. Our code is available at https://github.com/OPTML-Group/ILM-VP.

연구 동기 및 목표

• 기존 연구에서 간과되었던 레이블 매핑(LM)이 시각적 프롬프팅(VP)에서 수행하는 역할을 이해하기 위해.
• 일관되지 않거나 임의적인 LM로 인해 해석 가능성 부족과 성능 저하 문제가 발생하는 문제를 해결하기 위해.
• 제로샷 전이 학습에서 정확도와 해석 가능성 향상을 위해 시각적 프롬프팅과 레이블 매핑을 공동 최적화하기 위해.
• 최적의 텍스트 프롬프트 선택을 위해 LM을 통합함으로써 CLIP 기반 프롬프팅으로 프레임워크를 확장하기 위해.
• 기존 최신 기술 수준(SOTA) 방법들을 능가하는 통합적이고 해석 가능하며 정확한 VP 프레임워크를 제공하기 위해.

제안 방법

• 소스 클래스와 타깃 클래스 간의 레이블 매핑(LM)을 개선하면서 시각적 프롬프팅과 함께 훈련하는 이중 최적화(BLO) 프레임워크인 ILM-VP을 제안한다.
• 정밀도와 설명 품질을 향상시켜 VP 성능을 향상시키기 위해 반복적 레이블 매핑 프로세스를 도입한다.
• 입력의 변형과 레이블 할당 간의 일치를 보장하기 위해, 시각적 프롬프팅과 LM 함수를 동시에 최적화하기 위해 이중 최적화(BLO) 수식을 사용한다.
• 컨텍스트 융합 텍스트 프롬프트를 '가상의 소스 레이블'로 간주하고, 이를 타깃 레이블로의 매핑 최적화를 통해 CLIP 기반 프롬프팅에 ILM-VP 프레임워크를 적용한다.
• 최적의 텍스트 프롬프트 템플릿 선택을 유도하기 위해 대비 학습 목적함수를 사용하여 정확도와 의미적 해석 가능성 향상.
• 최적화된 LM을 프롬프트 생성 파이프라인에 통합하여, CLIP용 고품질 텍스트 프롬프트의 자동 및 해석 가능한 선택을 가능하게 한다.

Figure 1 : Overview of VP pipelines (prior art [ 1 , 2 ] and our proposal termed ILM-VP ) and accuracy improvement achieved by ILM-VP on target image classification tasks at-a-glance. Generally speaking, VP aims to generate a universal input perturbation template ( i.e. , ‘visual prompt’) and levera

실험 결과

연구 질문

• RQ1 레이블 매핑(LM)은 제로샷 전이 학습에서 시각적 프롬프팅(VP)의 효과성에 어떤 영향을 미치는가?
• RQ2 소스 클래스와 타깃 클래스 간에 유사하게 무작위이거나 규칙이 없는 레이블 매핑이 존재함에도 불구하고, VP가 여전히 효과적인 이유는 무엇인가?
• RQ3 레이블 매핑의 반복적 개선은 시각적 프롬프팅의 정확도와 해석 가능성 향상에 기여하는가?
• RQ4 CLIP 기반 시각적 프롬프팅에서 레이블 매핑을 체계적으로 최적화하여 후행 작업 성능을 향상시킬 수 있는가?
• RQ5 시각적 프롬프팅과 레이블 매핑을 공동 설계하면 기존 VP 방법들에 비해 정확도와 해석 가능성 측면에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• ImageNet 미리 훈련된 ResNet-18을 재프로그래밍할 때, ILM-VP은 Flowers102 데이터셋에서 기존 SOTA 기반선 대비 7.9% 정확도 향상을 달성한다.
• CIFAR100에서 ILM-VP은 최신 기술 수준의 시각적 프롬프팅 방법들보다 6.7% 정확도 향상을 기록한다.
• CLIP 기반 프롬프팅의 경우, ILM-VP은 Flowers100에서 기준 VP+TP 방법 대비 13.7% 정확도 향상과 DTD에서 7.1% 향상을 기록한다.
• 최적화된 레이블 매핑은 더 의미적으로 명확한 텍스트 프롬프트 템플릿을 도출한다. 예를 들어, 'buttercup'에 대해 'This is a photo of a {}' 대신 'a close-up photo of a {}'와 같은 템플릿이 생성된다.
• 도메인 이동 벤치마크인 ImageNet-R과 ImageNet-Sketch에서 선택된 프롬프트는 도메인 특성에 맞게 반영되어 해석 가능성 향상.
• 13개의 다양한 타깃 데이터셋에서 일관된 성능 향상을 보이며, ILM-VP 프레임워크의 일반화 가능성과 강건성을 확인한다.

Figure 2 : Visualizations of RLM and FLM using the source dataset ImageNet-1K and the pretrained ResNet-18, as well as the target dataset Flowers102. In FLM, the pre-prompt label mapping using ( 6 ) selects source labels different from FLM. Yet, the post-prompt label mapping using ( 6 ) at $\boldsym