[논문 리뷰] Domain Prompt Learning for Efficiently Adapting CLIP to Unseen Domains

Xin Zhang, Shixiang Gu외 2명|arXiv (Cornell University)|2021. 11. 25.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

이 논문은 도메인 프롬프트 학습(Domain Prompt Learning, DPL)을 제안하며, 테스트 시에 도메인에 특화된 연속 프롬프트를 생성하는 경량 MLP 프롬프트 생성기를 훈련시켜 CLIP을 미리 보지 않은 도메인에 효율적으로 적응시키는 방법을 제시한다. DPL은 시각 인코더를 미세조정하지 않고도 표준 DG 벤치마크인 PACS, VLCS, OfficeHome, TerraIncognita에서 제로샷 CLIP 정확도를 73.7%에서 79.3%로 향상시켰으며, 최소한의 계산 비용으로 최신 기술 성능을 달성한다.

ABSTRACT

Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model for unseen domains. Recent foundation models (FMs) are robust to many distribution shifts and, therefore, should substantially improve the performance of DG. In this work, we study generic ways to adopt CLIP, a Visual-Language Foundation Model, for DG problems in image classification. While ERM greatly improves the accuracy with bigger backbones and training datasets using standard DG benchmarks, fine-tuning FMs is not practical in many real-world situations. We propose Domain Prompt Learning (DPL) as a novel approach for domain inference in the form of conditional prompt generation. DPL achieved a significant accuracy improvement with only training a lightweight prompt generator (a three-layer MLP), whose parameter is of equivalent scale to the classification projector in the previous DG literature. Combining \dplshort~with CLIP provides surprising performance, raising the accuracy of zero-shot CLIP from 73.7% to 79.3% on several standard datasets, namely PACS, VLCS, OfficeHome, and TerraIncognita. We hope the simplicity and success of our approach lead to broader adoption and analysis of foundation models in the domain generalization field. Our code is available at https://github.com/shogi880/DPLCLIP.

연구 동기 및 목표

• 시각 인코더를 미세조정하지 않고도 분포 이탈에 강건한 CLIP의 특성을 활용하여 이미지 분류에서 도메인 일반화(DG) 문제를 해결한다.
• 표준 미세조정의 한계를 극복하며, 특정 도메인에서 성능 저하가 발생하거나 계산 비용이 높은 문제를 해결한다.
• 사전 훈련된 특징을 유지하면서도 새로운 도메인에 대한 제로샷 일반화 성능을 향상시키는 경량이고 효율적인 적응 방법을 개발한다.
• 기초 모델의 미세조정 대안으로서 프롬프트 학습의 가능성을 탐색하며, 최소한의 파rameter 업데이트로 테스트 시 적응에 집중한다.
• 프롬프트 기반 적응이 표준 미세조정과 제로샷 CLIP보다도 표준 DG 벤치마크에서 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 원천 도메인에서 훈련된 경량 3층 MLP 프롬프트 생성기를 사용하는 테스트 시 프롬프트 생성 방법인 도메인 프롬프트 학습(DPL)을 제안한다.
• 프롬프트 생성기는 입력 이미지를 받아 입력 분포에 조건화된 도메인 특화 연속 프롬프트를 출력하며, 이는 클래스 특화 텍스트 프롬프트와 연결된다.
• 모든 CLIP 구성 요소, 즉 이미지 인코더와 텍스트 인코더는 추론 중에 동결되어 사전 훈련된 특징을 유지하고 안정성을 확보한다.
• 원천 도메인에서 대비 학습을 사용하여 프롬프트 생성기를 종합적으로 훈련시켜 이미지 특징과 생성된 도메인 프롬프트를 정렬한다.
• 기울기 기반 최적화가 가능한 연속 프롬프트 표현을 사용하여 도메인에 불변적이지만 도메인에 특화된 프롬프트 패tern을 학습할 수 있도록 한다.
• 입력 이미지마다 동적으로 프롬프트를 생성하는 조건부 프롬프트 생성 전략을 적용하여 재훈련 없이도 새로운 도메인에 적응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 시각 인코더를 미세조정하지 않고도 프롬프트 학습이 도메인 일반화에서 새로운 도메인에 CLIP를 효과적으로 적응시킬 수 있는가?
• RQ2 DPL의 성능가 표준 미세조정 및 제로샷 CLIP와 여러 표준 DG 벤치마크에서 어떻게 비교되는가?
• RQ3 원천 도메인에서 훈련된 경량 프롬프트 생성기가 테스트 시 새로운 타겟 도메인으로 잘 일반화되는가?
• RQ4 프롬프트 기반 적응이 일부 DG 설정에서 관찰되는 미세조정의 부정적 영향을 안정화하고 완화할 수 있는가?
• RQ5 DPL이 PACS, VLCS, OfficeHome, TerraIncognita와 같은 벤치마크에서 제로샷 CLIP 정확도를 어느 정도 향상시키는가?

주요 결과

• DPL은 PACS, VLCS, OfficeHome, TerraIncognita 벤치마크에서 제로샷 CLIP 정확도를 73.7%에서 79.3%로 향상시켜 뚜렷한 성능 향상을 보였다.
• VLCS 데이터셋에서 DPL은 CLIP ViT-B16를 사용해 84.3%의 정확도를 달성했으며, 미세조정된 백본을 사용한 표준 ERM보다 뛰어나며, 일부 데이터셋에서 미세조정이 성능을 떨어뜨릴 수 있음을 보여주었다.
• OfficeHome와 VLCS에서 동결된 ERM(경험 리스크 최소화, 동결된 백본)이 표준 ERM(미세조정된 백본)보다 성능이 뛰어나며, 이는 미세조정이 항상 일반화 성능 향상에 기여하지는 않음을 시사한다.
• DPL은 평가된 모든 데이터셋에서 일관되게 성능 향상을 보이며, 새로운 도메인에 CLIP를 적응시키는 데 있어 강건성과 안정성을 입증했다.
• DPL의 성능 향상은 매우 뚜렷하다—TerraIncognita에서 +6.1%, VLCS에서 +3.7%로, 단지 작은 MLP(3층, 약 10K 파라미터)를 훈련시킨 것에도 불구하고 그렇다.
• 제거 분석 결과 DPL은 ViT-B16와 같은 큰 백본에서도 효과적이며, 다양한 도메인 이동에 걸쳐 잘 일반화됨을 확인했다.