[논문 리뷰] Not All Features Matter: Enhancing Few-shot CLIP with Adaptive Prior Refinement

Xiangyang Zhu, Renrui Zhang외 5명|arXiv (Cornell University)|2023. 04. 03.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 상위 클래스 간 차이와 분산 기준을 사용하여 가장 정보가 많은 시각적 특징 채널을 선택적으로 정제함으로써 few-shot 분류를 위한 CLIP을 향상시키는 APE(Adaptive Prior Refinement)를 제안한다. 이는 이전 방법들보다 30배 적은 학습 가능한 파라미터를 사용하면서도 최신 기술 수준의 정확도를 달성하며, 학습이 없는 변종과 경량 파인티uning 버전(APE-T)을 모두 제공한다.

ABSTRACT

The popularity of Contrastive Language-Image Pre-training (CLIP) has propelled its application to diverse downstream vision tasks. To improve its capacity on downstream tasks, few-shot learning has become a widely-adopted technique. However, existing methods either exhibit limited performance or suffer from excessive learnable parameters. In this paper, we propose APE, an Adaptive Prior rEfinement method for CLIP's pre-trained knowledge, which achieves superior accuracy with high computational efficiency. Via a prior refinement module, we analyze the inter-class disparity in the downstream data and decouple the domain-specific knowledge from the CLIP-extracted cache model. On top of that, we introduce two model variants, a training-free APE and a training-required APE-T. We explore the trilateral affinities between the test image, prior cache model, and textual representations, and only enable a lightweight category-residual module to be trained. For the average accuracy over 11 benchmarks, both APE and APE-T attain state-of-the-art and respectively outperform the second-best by +1.59% and +1.99% under 16 shots with x30 less learnable parameters.

연구 동기 및 목표

• 기존 few-shot CLIP 방법들이 CLIP의 사전 학습된 지식을 무시하거나 큰 파라미터 수를 가진 캐시 모델에 의존함으로써 효율성이 떨어지고 성능이 제한되는 문제를 해결하기 위해.
• 가장 분류에 유용한 특징 채널만 유지하도록 CLIP의 시각적 표현을 선택적으로 정제하여 few-shot 분류 정확도를 향상시키기 위해.
• 가벼운 적응형 정제 메커니즘을 통해 CLIP의 사전 학습된 사전 지식을 활용하면서도 높은 계산 효율성을 유지하기 위해.
• 빠른 추론을 위한 학습이 없는 APE와, 경량 카테고리 잔차만 파인티닝하는 학습이 필요한 APE-T라는 두 가지 변종을 개발하기 위해.
• 이전 방법들에 비해 훨씬 적은 파라미터 수로 11개의 few-shot 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 상위 클래스 간 유사도와 분산 기반으로 주요 특징 채널을 선택하는 사전 정제 모듈을 제안하여 CLIP의 시각적 특징에서 부정확한 부분을 줄인다.
• 시험 이미지, 정제된 사전 캐시, 텍스트 표현 간의 삼중성 유사도 모델링을 도입하여 추론 과정의 강건성을 향상시킨다.
• 캐시 모델의 전체 파인티닝을 피하기 위해 정제된 특징에만 훈련되는 가벼운 카테고리 잔차 모듈을 활용한다.
• 정제 과정에서 상위 클래스 간 차이와 특징 안정성 간의 트레이드오프를 제어하기 위해 균형 인자 λ와 스무딩 인자 γ를 사용한다.
• ResNet-50 기반 CLIP의 1024개 특징 채널 중에서 가장 분류에 유용한 512개를 동적으로 식별하고 유지하는 채널별 선택 메커니즘을 적용한다.
• GPT-3와 CuPL의 프롬프트 템플릿을 활용하여 다양한 텍스트 기술을 생성함으로써 특징 정제 과정에서 시각-언어 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 학습된 CLIP 특징에서 가장 정보가 많은 시각적 특징 채널만 선택적으로 정제함으로써 few-shot CLIP 성능을 향상시킬 수 있는가?
• RQ2 상위 클래스 간 차이와 분산 기반의 적응형 채널 선택이 최종 few-shot 분류 정확도에 어떤 영향을 미치는가?
• RQ3 정제된 사전 지식을 활용한 학습이 없는 추론 기반 메커니즘이 최소한의 파라미터 오버헤드로 기존 방법들을 초월할 수 있는가?
• RQ4 정제된 특징 위에 경량 카테고리 잔차만 파인티닝하는 것이 전체 캐시 모델 파인티닝에 비해 정확도 향상에 얼마나 기여하는가?
• RQ5 다양한 데이터 분포와 시각적 복잡도를 가진 다양한 few-shot 벤치마크에서 제안된 방법이 얼마나 잘 일반화되는가?

주요 결과

• APE는 11개 벤치마크에서 평균 16-shot 정확도에서 최신 기술 수준을 달성하며, 두 번째로 좋은 성능을 보인 방법보다 +1.59% 높은 성능을 기록했다.
• APE-T는 동일한 16-shot 설정에서 두 번째로 좋은 방법보다 +1.99% 향상된 성능을 보이며, 파라미터 수가 줄어든 상태에서도 뛰어난 성능을 입증했다.
• 기존의 기반 모델 기반 방법들에 비해 학습 가능한 파라미터를 30배 줄여 계산 효율성을 크게 향상시켰다.
• 제거 분석 결과, 균형 인자 λ와 스무딩 인자 γ가 성능에 유의미한 영향을 미치며, 최적의 값은 λ=0.6과 γ=0.15로 확인되었다.
• 학습이 없는 APE 변종은 어떤 파인티닝 없이도 뛰어난 성능을 기록하여 삼중성 유사도 모델링의 효과를 입증했다.
• 다양한 백본(RN50, RN101, ViT-B/16, ViT-B/32)에서 잘 일반화되며, 모든 아키텍처에서 일관된 성능 향상을 유지했다.