[논문 리뷰] Patch-Prompt Aligned Bayesian Prompt Tuning for Vision-Language Models

Xinyang Liu, Dongsheng Wang외 6명|arXiv (Cornell University)|2023. 03. 16.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 변분 추론을 통해 레이블별로 스토하스틱 프롬프트를 생성하고, 최적 운반 이론을 사용하여 텍스트 토큰과 시각적 패치를 정렬함으로써, 15개 데이터셋에서 제로샷 일반화와 강건성을 향상시키는 Patch-Prompt Aligned Bayesian Prompt Tuning (PBPrompt)을 제안한다. 이 방법은 불확실성 모델링과 시각 기반 의미 정렬을 통해 기존 방법보다 소수의 샘플, 교차 데이터셋, 도메인 일반화 설정에서 성능을 뛰어나게 한다.

ABSTRACT

For downstream applications of vision-language pre-trained models, there has been significant interest in constructing effective prompts. Existing works on prompt engineering, which either require laborious manual designs or optimize the prompt tuning as a point estimation problem, may fail to describe diverse characteristics of categories and limit their applications. We introduce a Bayesian probabilistic resolution to prompt tuning, where the label-specific stochastic prompts are generated hierarchically by first sampling a latent vector from an underlying distribution and then employing a lightweight generative model. Importantly, we semantically regularize the tuning process by minimizing the statistical distance between the visual patches and linguistic prompts, which pushes the stochastic label representations to faithfully capture diverse visual concepts, instead of overfitting the training categories. We evaluate the effectiveness of our approach on four tasks: few-shot image recognition, base-to-new generalization, dataset transfer learning, and domain shifts. Extensive results over 15 datasets show promising transferability and generalization performance of our proposed model, both quantitatively and qualitatively.

연구 동기 및 목표

• 다양한 시각적 개념을 포괄하고 미리 보지 않은 카테고리로 일반화하는 데에 한계가 있는 결정론적 프롬프트 튜닝의 문제점을 해결하기 위해.
• 베이지안 프레임워크를 통해 프롬프트 생성의 불확실성을 모델링하여 제로샷 및 소수 샘플 성능을 향상시키기 위해.
• 최적 운반 이론을 통해 텍스트 프롬프트 토큰을 이미지 패치와 정렬하여, 시각 지식을 활용한 프롬프트 학습을 정규화하기 위해.
• 개별 인스턴스 조건부 프롬프트 생성을 통합하여 분포 이탈 상황에서도 일반화 능력을 향상시키기 위해.
• 레이블 의미와 시각적 특징을 통합하는 유연하고 확장 가능한 프롬프트 튜닝 프레임워크를 제공하기 위해.

제안 방법

• 각 레이블에 대해 임베딩 공간 상에서 변분 사후 분포를 학습하여, 카테고리별로 불확실성을 표현하는 잠재 벡터의 스토하스틱 샘플링을 가능하게 한다.
• 가벼운 결정론적 생성 네트워크가 샘플된 잠재 벡터를 프리픽스 임베딩으로 매핑하여, 랜덤 입력을 통해 프롬프트의 분포를 생성한다.
• 최적 운반 이론(OT)을 사용하여 동일한 클래스의 프롬프트 토큰 분포와 시각적 패치 분포를 정렬하고, 다중 모odal 간의 OT 비용을 최소화한다.
• 목적 함수는 기초 하한 근사(ELBO)와 OT 정규화 항을 조합하여, 확률적 경사 하강법으로 최적화된다.
• 이 프레임워크는 이미지 특징를 사용해 인스턴스 조건부 프롬프트를 생성하는 조건부 변형(CPBPrompt)으로 확장되어 일반화 능력을 향상시킨다.
• 유용한 인덕티브 바이어스를 향상시키기 위해 레이블별로 전용 사전 분포를 도입하여 의미 정보를 사전 분포에 통합한다.

Figure 1: The core idea that multiple prompts are generated from the label-specific distributions.

실험 결과

연구 질문

• RQ1 스토하스틱 프롬프트 생성을 통한 베이지안 프롬프트 튜닝은 결정론적 방법에 비해 비전-언어 모델의 일반화 능력을 향상시키는가?
• RQ2 시각적 패치와 텍스트 프롬프트 간의 최적 운반 이론 기반 정렬이 프롬프트 품질과 모델의 강건성을 향상시키는가?
• RQ3 사전 분포에 레이블 의미를 통합할 경우 프롬프트 학습 성능에 어떤 영향을 미치는가?
• RQ4 인스턴스 조건부 프롬프트 생성은 제로샷 및 소수 샘플 일반화 능력을 추가로 향상시키는가?
• RQ5 제안된 방법은 데이터셋 간 전이 및 도메인 이탈 상황에서도 얼마나 잘 일반화되는가?

주요 결과

• PBPrompt는 교차 데이터셋 전이 학습에서 CoOp 대비 평균 2.0%의 정확도 향상을 기록하여 10개의 타겟 데이터셋에서 강력한 전이 가능성을 입증한다.
• FGVCAircraft, OxfordPets, Flowers102와 같은 세분화된 데이터셋에서 PBPrompt는 큰 성능 격차를 보이며, 분류 가능한 특징를 잘 포착하는 능력을 입증한다.
• 도메인 일반화 설정에서 PBPrompt는 모든 타겟 도메인(ImageNetV2, ImageNet-Sketch, ImageNet-A, ImageNet-R)에서 가장 높은 정확도를 기록했으며, 소스 도메인에서 약간의 성능 저하가 있었음에도 불구하고 베이스라인을 압도한다.
• 제거 분석 결과, 레이블별 전용 사전 분포를 사용할 경우 Flowers102의 'New' 세트에서 성능이 최대 +3.61% 향상됨을 확인하여 그 효과를 검증한다.
• OT 정규화는 모든 설정에서 일관되게 성능 향상을 가져오며, Caltech101의 H에서 +0.63% 향상되고, Flowers102의 H에서 +2.81% 향상됨을 보였다.
• CPBPrompt는 인스턴스 조건부 프롬프트를 생성함으로써 PBPrompt를 초월하는 성능을 기록하여, 이미지 유도 프롬프트 튜닝이 일반화 능력을 향상시킨다는 것을 확인한다.

Figure 2: Overview of the proposed PBPrompt. PBPrompt generates the stochastic prompts by first sampling a label-specific vector $\bm{r}_{c}$ and then employing a single-layer self-attention network. OT distance is performed between the prefix tokens $\bm{p}_{c}$ and image patches to regularize the