[논문 리뷰] DRPT: Disentangled and Recurrent Prompt Tuning for Compositional Zero-Shot Learning

Xiaocheng Lu, Ziming Liu외 5명|arXiv (Cornell University)|2023. 05. 02.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 조합적 제로샷 학습(CZSL)을 위한 탈중합적이고 순환적인 프롬프트 튜닝 프레임워크인 DRPT를 제안한다. 이는 시각-언어 모델에서 상태와 객체 원소 간의 기울기 탈중합을 완화한다. 순환 전략을 통해 객체와 상태 토큰을 점진적이고 독립적으로 튜닝함으로써, UT-Zappos와 C-GQA 벤치마크에서 기존 최고 성능(SOTA) 방법보다 뛰어난 정확도와 효율성을 달성하며, 제로샷 이미지-텍스트 검색 및 미사용 조합으로의 일반화 성능에서도 최고 성능을 기록한다.

ABSTRACT

Compositional Zero-shot Learning (CZSL) aims to recognize novel concepts composed of known knowledge without training samples. Standard CZSL either identifies visual primitives or enhances unseen composed entities, and as a result, entanglement between state and object primitives cannot be fully utilized. Admittedly, vision-language models (VLMs) could naturally cope with CZSL through tuning prompts, while uneven entanglement leads prompts to be dragged into local optimum. In this paper, we take a further step to introduce a novel Disentangled and Recurrent Prompt Tuning framework termed DRPT to better tap the potential of VLMs in CZSL. Specifically, the state and object primitives are deemed as learnable tokens of vocabulary embedded in prompts and tuned on seen compositions. Instead of jointly tuning state and object, we devise a disentangled and recurrent tuning strategy to suppress the traction force caused by entanglement and gradually optimize the token parameters, leading to a better prompt space. Notably, we develop a progressive fine-tuning procedure that allows for incremental updates to the prompts, optimizing the object first, then the state, and vice versa. Meanwhile, the optimization of state and object is independent, thus clearer features can be learned to further alleviate the issue of entangling misleading optimization. Moreover, we quantify and analyze the entanglement in CZSL and supplement entanglement rebalancing optimization schemes. DRPT surpasses representative state-of-the-art methods on extensive benchmark datasets, demonstrating superiority in both accuracy and efficiency.

연구 동기 및 목표

• 조합적 제로샷 학습(CZSL)을 위한 프롬프트 튜닝에서 상태와 객체 원소 간의 탈중합 문제를 해결함으로써 최적화를 방해하고 최적 수렴에 악영향을 미치는 문제를 해결한다.
• 훈련 데이터 없이도 시각-언어 모델(VLM)의 일반화 성능을 향상시켜, 새로운 조합 개념(예: '파란 사과')에 대해 성능을 높이기 위해 프롬프트 튜닝을 활용한다.
• 상태와 객체 토큰을 독립적으로 최적화할 수 있도록 점진적이고 탈중합적인 튜닝 전략을 개발하여, 불균형한 탈중합으로 인한 마찰력 감소를 목표로 한다.
• 새로운 지표인 평균 탈중합 비율과 탈중합 분산을 통해 CZSL에서의 탈중합을 정량적으로 측정하고 분석하며, 최적화 과정에 재균형 조치를 통합한다.
• DRPT가 다양한 벤치마크 데이터셋에서 기존 SOTA 방법보다 정확도와 효율성 측면에서 모두 뛰어나다는 것을 입증한다.

제안 방법

• DRPT는 프롬프트 튜닝 중 상태와 객체 토큰을 번갈아 가며 동결하고 업데이트하는 탈중합적이고 순환적인 전략을 도입하여, 탈중합에 기인한 기울기 간섭을 줄인다.
• 이 방법은 객체 프롬프트를 먼저 튜닝한 후 상태 프롬프트를 튜닝하고, 그 반대로 진행하는 점진적 피니터닝 스케줄을 사용하여 각 원소를 독립적으로 최적화한다.
• 상태 전이 순서 기법을 설계하여 최적의 튜닝 순서(예: o→a→ao)를 탐색하였으며, 실험 결과 이 순서가 가장 높은 성능을 낸다.
• 프레임워크는 평균 탈중합 비율과 탈중합 분산을 사용해 탈중합을 정량화하고, 균형을 맞춰 균형이 깨진 프롬프트로 인한 최적화 편향을 완화한다.
• DRPT는 상태와 객체 원소를 프롬프트 내의 학습 가능한 토큰으로 간주하고, 탈중합적이고 순환적인 방식으로 함께 튜닝하여 프롬프트 공간 최적화를 향상시킨다.
• 이 접근법은 UT-Zappos와 C-GQA에서 평가되었으며, 기존 제로샷 검색 지표(S, U, HM, AUC)를 사용해 본문과 미사용 조합에서의 성능을 측정한다.

실험 결과

연구 질문

• RQ1 시각-언어 모델에서 조합적 제로샷 학습을 위한 프롬프트 튜닝에서 상태와 객체 원소 간의 탈중합은 어떤 영향을 미치는가?
• RQ2 탈중합적이고 순환적인 튜닝 전략은 불균형한 탈중합의 부정적 영향을 줄이고 최적화 수렴을 향상시킬 수 있는가?
• RQ3 CZSL에서 성능을 극대화하기 위해 상태와 객체 프롬프트를 튜닝할 최적의 학습 순서는 무엇인가?
• RQ4 탈중합은 어떻게 정량적으로 측정하고 재균형 조치를 통해 일반화 성능 향상에 기여할 수 있는가?
• RQ5 DRPT는 표준 CZSL 벤치마크에서 기존 SOTA 방법보다 정확도와 효율성 측면에서 모두 뛰어나게 성능을 발휘하는가?

주요 결과

• DRPT는 UT-Zappos와 C-GQA 양쪽에서 최고 성능을 기록했으며, C-GQA에서 평균 정확도는 HM 64.5%와 AUC 29.2%를 기록해, 공동 튜닝 및 기타 베이스라인을 모두 초월했다.
• 상태 전이 순서 'o→a→ao'가 가장 높은 성능을 낸다. C-GQA에서 HM 64.5%와 AUC 29.2%를 기록하여, 공동 튜닝보다 독립적이고 점진적인 튜닝이 더 효과적임을 시사한다.
• 아블레이션 연구 결과, 탈중합 튜닝과 순환 최적화 모두 필수적임을 확인했다. 이 중 하나를 제거하면 C-GQA에서 HM 성능이 2% 이상 감소한다.
• 제안된 탈중합 지표인 평균 탈중합 비율과 분산은 매우 탈중합된 프롬프트가 업데이트에 저항하고 최적화를 잘못 이끌 수 있음을 보여주며, 재균형 조치의 필요성을 입증한다.
• 정성적 결과는 객체가 상태보다 더 예측 가능하며, DRPT는 본문과 미사용 조합에 대해 모두 관련 이미지를 성공적으로 검색함을 보여주며, 'Greed Bush'와 같은 애매한 케이스에서만 약간의 실패가 발생한다.
• DRPT는 공동 튜닝 대비 AUC 기준 3.5~5.5%p의 일반화 성능 향상을 기록하여, 제로샷 일반화에서의 효과성을 입증한다.