[논문 리뷰] Facing the Elephant in the Room: Visual Prompt Tuning or Full Finetuning?

Cheng Han, Qifan Wang외 5명|arXiv (Cornell University)|2024. 01. 23.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

본 논문은 19개의 VTAB-1k 과제에서 visual prompt tuning (VPT)과 full finetuning (FT)을 비교하고, VPT가 바람직한 경우와 그 이유를 규명하며, 데이터 분포와 과제 간 차이에 대한 통찰을 제공한다.

ABSTRACT

As the scale of vision models continues to grow, the emergence of Visual Prompt Tuning (VPT) as a parameter-efficient transfer learning technique has gained attention due to its superior performance compared to traditional full-finetuning. However, the conditions favoring VPT (the ``when") and the underlying rationale (the ``why") remain unclear. In this paper, we conduct a comprehensive analysis across 19 distinct datasets and tasks. To understand the ``when" aspect, we identify the scenarios where VPT proves favorable by two dimensions: task objectives and data distributions. We find that VPT is preferrable when there is 1) a substantial disparity between the original and the downstream task objectives (e.g., transitioning from classification to counting), or 2) a similarity in data distributions between the two tasks (e.g., both involve natural images). In exploring the ``why" dimension, our results indicate VPT's success cannot be attributed solely to overfitting and optimization considerations. The unique way VPT preserves original features and adds parameters appears to be a pivotal factor. Our study provides insights into VPT's mechanisms, and offers guidance for its optimal utilization.

연구 동기 및 목표

• 다양한 다운스트림 태스크에서 visual prompt tuning (VPT)가 full finetuning (FT)보다 우수한 시점을 평가한다.
• 태스크 목표 차이와 데이터 분포 유사성이 전이 학습 성능에 미치는 영향을 특징짓다.
• 과대적합과 파라미터 수를 넘어 VPT 성공의 근본 원인을 조사한다.
• 사전학습-후속 미세조정 파이프라인에서 프롬프트를 적용하기 위한 실행 가능한 가이드를 제공한다.

제안 방법

• ImageNet-21k에서 사전학습된 ViT-B/16에 대해 19개의 VTAB-1k 태스크(Natural, Specialized, Structured)에서 FT와 VPT를 비교한다.
• Fréchet Inception Distance (FID)를 사용하여 사전학습 데이터 분포와 다운스트림 데이터 분포 간의 차이를 측정한다.
• Mixed 및 FT-then-PT를 포함한 아블레이션을 수행하여 최적화 및 특징 보존 역할을 분석한다.
• 데이터세트 규모가 변화함에 따라 다운스트림 데이터 크기(400에서 20,000까지)를 변화시켜 성능을 연구한다.
• GradCAM 및 기타 시각적 설명을 사용하여 프롬프트가 특징 학습에 어떻게 영향을 미치는지 해석한다.

실험 결과

연구 질문

• RQ1 태스크 목표 및 데이터 분포 전반에서 어떤 전이 학습 시나리오에서 VPT가 FT를 능가하는가?
• RQ2 데이터 분포 차이와 태스크 목표 차이가 VPT의 성공을 어느 정도 설명하는가?
• RQ3 VPT의 이점이 과적합, 추가 파라미터, 또는 사전학습 특징의 보존 때문인가?
• RQ4 다운스트림 데이터 크기가 FT와 VPT 간 성능 격차에 어떤 영향을 미치는가?
• RQ5 시각적 프롬프트가 FT에 비해 모델이 다르거나 더 강한 특징을 학습하도록 이끄는가?

주요 결과

• VPT는 총 19개 과제 중 16개에서 FT를 능가하며, 특히 다운스트림 태스크의 목표 차이가 크거나 데이터 분포가 유사할 때 두드러진다.
• FT가 다운스트림 데이터 크기가 증가함에 따라 VPT 대비 이득을 얻어 격차를 줄이고, 때로는 고자원 환경에서 VPT를 능가한다.
• 과적합이 FT의 더 나쁜 성능의 유일한 이유는 아닐뿐더러, 차이가 큰 태스크에서 과적합이 더 뚜렷하고, 분포가 유사한 태스크에서는 두 방법 모두 과적합이 덜 나타난다.
• 프롬프트로 인한 추가 파라미터가 국소 최소값에서 벗어나도록 돕는 것이 VPT의 우위의 주된 이유는 아니며, 원래 특징의 보존이 결정적이다.
• 시각화(GradCAM)는 프롬프트가 의미 있는 영역에 초점을 맞추고 FT를 넘어서는 특징 학습을 강화할 수 있음을 시사한다.