[논문 리뷰] Amortized Prompt: Lightweight Fine-Tuning for CLIP in Domain Generalization

Xin Zhang, Yusuke Iwasawa외 2명|arXiv (Cornell University)|2021. 11. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 40인용 수 4

한 줄 요약

이 논문은 도메인 일반화(DG)를 위한 CLIP에 적합한 경량 미세조정 방법인 Amortized Prompt (AP)을 제안한다. AP는 추론 시 도메인별 프롬프트를 생성함으로써 CLIP의 파라미터를 업데이트하지 않고도 성능을 향상시킨다. 프롬프트 티닝을 통해 CLIP의 파라미터를 업데이트하지 않음으로써, 표준 DG 벤치마크에서 정확도를 71.3%에서 79.3%로 향상시켰으며, 계산 비용을 최소화하면서도 뛰어난 성능 향상을 보였다.

ABSTRACT

Domain generalization (DG) is a difficult transfer learning problem aiming to learn a generalizable model to unseen domains. Recent massive pre-trained models such as CLIP and GPT-3, i.e. foundation models (FMs), have been shown to be robust to many distribution shifts and therefore should lead to substantial improvements in DG. In this work, we study generic ways to adopt CLIP for DG problems in image classification, where we evaluate on naive zero-shot learning and full DG learning settings. For the latter, we propose AP (Amortized Prompt), as a novel approach for domain inference in the form of prompt generation. Using several standard datasets on domain generalization benchmark, namely PACS, VLCS, OfficeHome, and TerraIncognita, CLIP provides comparable performance without fine-tuning any parameters, suggesting the applicability and importance of FM in DG. In addition, we show that combining domain prompt inference with CLIP enables AP to outperform strong baselines and the naive CLIP baselines by a large margin, raising accuracy from 71.3\% to 79.3\%. We hope the simplicity and success of our approach emphasizes the importance of and leads to wider more adoption and analysis of foundation models in the field of domain generalization.

연구 동기 및 목표

• 기초 모델인 CLIP와 같은 모델이 전체 미세조정 없이 도메인 일반화(DG)에서 잠재적인 성능을 발휘할 수 있는지 조사하기 위해.
• 분포 이탈 상황에서 이미지 분류 작업에서 알려지지 않은 도메인에 CLIP를 적응시키는 과제를 해결하기 위해.
• 프롬프트 엔지니어링을 활용하여 파라미터 효율적인 도메인 불변 표현 학습 방법을 개발하기 위해.
• 도메인별 프롬프트 생성을 통해 난이도 높은 제로샷 CLIP 성능을 DG 환경에서 향상시키기 위해.

제안 방법

• CLIP의 파라미터를 업데이트하지 않고 추론 시 도메인별 프롬프트를 생성하는 Amortized Prompt (AP) 방법을 제안한다.
• 추론 중 각 도메인에 최적의 텍스트 프롬프트를 예측하기 위해 프롬프트 인코더를 사용함으로써 도메인 일반화를 가능하게 한다.
• CLIP의 시각 또는 텍스트 인코더의 파라미터를 미세조정하지 않고도 경량적이고 파라미터 효율적인 방식으로 프롬프트 티닝을 적용한다.
• 소스 도메인에서 프롬프트 생성기를 훈련시켜 추론 시 알려지지 않은 도메인으로 일반화할 수 있도록 한다.
• 각 도메인에 걸쳐 약간의 비용을 감당할 수 있도록, 도메인 간에 약분(амortized)되는 미분 가능한 프롬프트 생성 메커니즘을 활용한다.
• 생성된 프롬프트를 CLIP의 제로샷 분류 헤드와 조합하여 알려지지 않은 도메인에서 엔드 투 엔드 추론을 수행한다.

실험 결과

연구 질문

• RQ1 기초 모델인 CLIP와 같은 모델이 전체 미세조정 없이 도메인 일반화에서 뛰어난 성능을 달성할 수 있는가?
• RQ2 프롬프트 기반 적응은 알려지지 않은 도메인 간 CLIP의 일반화 능력을 얼마나 효과적으로 향상시키는가?
• RQ3 경량적이고 파라미터 효율적인 프롬프트 생성 방법이 DG에서 강력한 베이스라인을 능가할 수 있는가?
• RQ4 도메인별 프롬프트 티닝은 DG 벤치마크에서 제로샷 CLIP 성능에 어떤 영향을 미치는가?

주요 결과

• CLIP는 파라미터 업데이트 없이도 도메인 일반화 벤치마크에서 경쟁 가능한 성능(71.3%)을 달성하여 강력한 제로샷 내성성을 보여준다.
• 제안된 Amortized Prompt (AP) 방법은 표준 DG 벤치마크에서 정확도를 79.3%로 향상시켜 난이도 높은 CLIP 및 강력한 베이스라인을 크게 능가한다.
• AP는 CLIP의 파라미터를 미세조정하지 않기 때문에 계산 오버헤드가 최소화되어 매우 낮은 비용으로 성능 향상을 달성한다.
• 이 방법은 알려지지 않은 도메인으로도 효과적으로 일반화되며, 강력한 도메인 일반화 능력을 보여준다.
• AP의 성공은 효율적인 프롬프트 엔지니어링과 결합된 기초 모델의 DG 잠재력이 매우 크다는 것을 시사한다.
• 결과적으로, 프롬프트 기반 적응은 도메인 일반화에서 전체 미세조정의 효과적인 대안으로서 유망한 길을 제시한다.