[논문 리뷰] SuS-X: Training-Free Name-Only Transfer of Vision-Language Models

Vishaal Udandarao, Ankush Gupta외 1명|arXiv (Cornell University)|2022. 11. 28.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

SuS-X는 CLIP와 같은 시각-언어 모델(VLM)을 위한 훈련 없이 이름만으로 적응하는 방법을 제안한다. 클래스 이름을 기반으로 텍스트-이미지 모델 또는 검색을 통해 추적한 지원 집합(SuS)을 구성하고, 새로운 추론 프로토콜(TIP-X)을 도입하여 19개의 벤치마크에서 최신 기술 수준의 제로샷 분류 정확도를 달성한다. 이는 기준 CLIP보다 최대 11.37% 향상된 성능이다.

ABSTRACT

Contrastive Language-Image Pre-training (CLIP) has emerged as a simple yet effective way to train large-scale vision-language models. CLIP demonstrates impressive zero-shot classification and retrieval on diverse downstream tasks. However, to leverage its full potential, fine-tuning still appears to be necessary. Fine-tuning the entire CLIP model can be resource-intensive and unstable. Moreover, recent methods that aim to circumvent this need for fine-tuning still require access to images from the target distribution. In this paper, we pursue a different approach and explore the regime of training-free "name-only transfer" in which the only knowledge we possess about the downstream task comprises the names of downstream target categories. We propose a novel method, SuS-X, consisting of two key building blocks -- SuS and TIP-X, that requires neither intensive fine-tuning nor costly labelled data. SuS-X achieves state-of-the-art zero-shot classification results on 19 benchmark datasets. We further show the utility of TIP-X in the training-free few-shot setting, where we again achieve state-of-the-art results over strong training-free baselines. Code is available at https://github.com/vishaal27/SuS-X.

연구 동기 및 목표

• 분포 이탈이 발생하는 하류 작업에서 제로샷 CLIP 성능의 한계를 해결한다.
• 대상 작업 데이터나 모델 미세조정에 접근할 수 없는 상황에서도 효과적인 VLM 적응을 가능하게 한다.
• 적응을 위해 클래스 카테고리 이름 외에 추가 정보가 필요 없는 확장성 있고 유연한 방법을 개발한다.
• 이름 기반 지원 집합만을 사용하여 다양한 벤치마크에서 최신 기술 수준의 제로샷 분류 성능을 달성한다.

제안 방법

• 클래스 이름만을 사용하여 이미지를 생성하거나 검색하는 동적 쿠리에이션 전략인 SuS(Support Sets)를 제안한다.
• 텍스트-이미지 확산 모델(예: Stable Diffusion) 또는 대규모 시각-언어 데이터셋(예: LAION-5B)에서의 검색을 통해 지원 집합을 구성한다.
• 훈련 없이 작동하는 추론 프로토콜인 TIP-X를 도입하여, 쿠리에이션된 지원 집합을 소수의 예시 데이터셋으로 간주하고 VLM을 적응시킨다.
• 질의 이미지와 지원 집합 프롬프트 간의 유사도 집계를 통해 클래스 로짓을 계산함으로써 미세조정을 회피한다.
• 지원 집합 구성에 대해 파rametric(텍스트-이미지 생성) 및 non-parametric(이미지 검색) 방법을 모두 지원한다.
• 사전에 작업별 지원 집합을 캐시하여 재학습 없이도 동적으로 작업 전환을 가능하게 한다.

Figure 1 : Training-free name-only transfer. We propose SuS-X , a framework for enhancing the zero-shot transfer abilities of VLMs like CLIP [ 61 ] , BLIP [ 46 ] and TCL [ 76 ] , without training. To achieve this, we propose a novel method TIP-X , which adapts these VLMs using a curated support set

실험 결과

연구 질문

• RQ1 대상 데이터 없이 클래스 이름만으로 시각-언어 모델을 새로운 하류 작업에 효과적으로 적응시킬 수 있는가?
• RQ2 미세조정 또는 데이터 증강 기반 제로샷 방법과 비교해 볼 때, 훈련 없이 이름만으로 적응하는 전략은 얼마나 효과적인가?
• RQ3 클래스 이름을 기반으로 생성되거나 검색된 합성 이미지나 실재 이미지가 제로샷 전이에서 소수의 예시 적응을 위한 효과적인 대체 자료로 기능할 수 있는가?
• RQ4 제안된 TIP-X 프레임워크는 제로샷 및 소수의 예시 설정 모두에서 기존의 훈련 없이 작동하는 기준 대비 우월한 성능을 보일 수 있는가?
• RQ5 다양한 도메인 이탈이 발생하는 하류 데이터셋에 대해 SuS-X는 얼마나 강건한가?

주요 결과

• SuS-X는 19개의 벤치마크 데이터셋에서 최신 기술 수준의 제로샷 분류 정확도를 달성하였으며, ResNet-50, ResNet-101, ViT-B/16에 대해 각각 평균 정확도를 4.60%, 5.97%, 11.37% 향상시켰다.
• ImageNet에서 SuS-X-LC(기존 CLIP 기반 텍스트-이미지 생성 사용)는 61.89%의 Top-1 정확도를 기록하여 기준 ZS-CLIP(60.31%)와 전체 미세조정(60.35%)을 모두 초월했다.
• 소수의 예시 설정에서 TIP-X는 강력한 훈련 없이 작동하는 기준 대비 우수한 성능을 보였으며, 11개 데이터셋에서 평균 68.20%의 정확도를 기록하여 이전 최고 기록을 초월했다.
• 다른 텍스트-이미지 모델(예: Kandinsky2.1, OpenJourney-4)을 사용할 경우 일관된 성능 향상이 나타났으며, 평균적으로 기준 대비 최대 9.03% 향상되었고, 이는 방법의 강건성을 확인한다.
• SuS-X를 미세조정하면 추가적인 성능 향상이 가능하다(예: ImageNet에서 63.22%), 그러나 훈련 없이 작동하는 변형도 매우 효과적이며, 치명적인 잊힘 현상을 방지한다.
• 이 방법은 확장성 있고 동적이다: 지원 집합는 사전에 계산하여 재학습 없이도 작업 간 전환 가능하며, 희귀하거나 변화하는 카테고리에 대한 효율적인 적응이 가능하다.

Figure 2 : SuS-X for training-free name-only transfer. SuS-X consists of two core building blocks. (1) SuS (top right), a dynamic support set that we construct to infuse visual information into the VLM based only on knowledge of target category names. We construct support sets either in a parametric