[논문 리뷰] LaFTer: Label-Free Tuning of Zero-shot Classifier using Language and Unlabeled Image Collections

M. Jehanzeb Mirza, Leonid Karlinsky외 5명|arXiv (Cornell University)|2023. 05. 29.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

LaFTer는 라벨이 없는 이미지 컬렉션과 대규모 언어 모델(Large Language Model, LLM)이 생성한 텍스트 설명만을 사용하여 제로샷 비전-언어 모델을 파arameter-efficient하게 미세조정하는 라벨 없는, 파arameter 효율적인 방법을 제안한다. LLM이 생성한 설명을 기반으로 텍스트 전용 분류기를 훈련하고, 이를 통해 이미지에 의사 라벨을 할당함으로써, 기본 CLIP보다 최대 11.7%p의 정확도 향상을 달성하며, 라벨이 전혀 없는 조건에서 소수의 라벨 기반 베이스라인을 능가하거나 이를 초월한다.

ABSTRACT

Recently, large-scale pre-trained Vision and Language (VL) models have set a new state-of-the-art (SOTA) in zero-shot visual classification enabling open-vocabulary recognition of potentially unlimited set of categories defined as simple language prompts. However, despite these great advances, the performance of these zeroshot classifiers still falls short of the results of dedicated (closed category set) classifiers trained with supervised fine tuning. In this paper we show, for the first time, how to reduce this gap without any labels and without any paired VL data, using an unlabeled image collection and a set of texts auto-generated using a Large Language Model (LLM) describing the categories of interest and effectively substituting labeled visual instances of those categories. Using our label-free approach, we are able to attain significant performance improvements over the zero-shot performance of the base VL model and other contemporary methods and baselines on a wide variety of datasets, demonstrating absolute improvement of up to 11.7% (3.8% on average) in the label-free setting. Moreover, despite our approach being label-free, we observe 1.3% average gains over leading few-shot prompting baselines that do use 5-shot supervision.

연구 동기 및 목표

• 라벨이 전혀 없는 조건에서 제로샷 비전-언어 모델의 성능을 감소시킨 감소 폭을 보완하여, 감독 분류기와의 성능 격차를 해소하는 것.
• 텍스트 임베딩과 라벨이 없는 이미지만을 사용하여 비전-언어 모델의 파라미터 효율적인 미세조정을 가능하게 하는 것.
• 텍스트 전용 훈련에서의 다중모odal 전이가 시각 분류 성능 향상에 효과적으로 기여할 수 있음을 입증하는 것.
• 12개의 다양한 벤치마크에서 라벨이 없는 미세조정에서 최신 기술 수준(SOTA)의 성능을 달성하는 것.
• 각 클래스당 5개의 라벨 예제에 의존하는 소수의 라벨 기반 프롬프팅 베이스라인을 고려할 때, 라벨이 전혀 없는 조건에서도 이를 능가하는 것.

제안 방법

• 목표 클래스에 대한 다양한 텍스트 설명을 대규모 언어 모델(LLM)과 수작업으로 작성한 템플릿를 사용하여 생성하여 텍스트 전용 데이터셋을 구성하는 것.
• VL 모델의 공유된 텍스트-이미지 임베딩 공간을 활용하여, 생성된 텍스트 데이터셋에서 소스 클래스 레이블을 예측할 수 있는 경량 텍스트 분류기를 훈련하는 것.
• 사전 훈련된 텍스트 분류기를 사용하여 라벨이 없는 이미지 컬렉션에 대해 의사 라벨을 할당하는 것.
• 비전 인코더를 시각적 프롬프트 튜닝과 적응형 정규화 레이어(스케일/시프트)를 통해 파라미터 효율적인 방식으로 미세조정하는 것.
• FixMatch에 영감을 얻은 의사 라벨링 파이프라인을 적용하여, 무 supervision 적응 과정에서의 강건성과 과적합 방지를 향상시키는 것.
• 최종 추론을 위해 적응된 비전 인코더와 텍스트 분류기를 결합하여, 새로운 카테고리에 대한 제로샷 일반화를 가능하게 하는 것.

Figure 1: LaFTer proposes to first train a classifier on a natural language text dataset mined in a controlled manner from a set of target classes by generating descriptions for each class label using an LLM and mixing them with handcrafted templates. The training objective is to classify each descr

실험 결과

연구 질문

• RQ1 LLM가 생성한 설명을 기반으로 훈련된 텍스트 전용 분류기가, 라벨이 전혀 없는 이미지를 사용하지 않고도 시각 분류 성능 향상에 효과적으로 전이될 수 있는가?
• RQ2 라벨이 없는 이미지와 합성 텍스트만을 사용하여 무 supervision 미세조정을 수행할 경우, 제로샷 비전-언어 모델의 성능 향상에 어느 정도 기여할 수 있는가?
• RQ3 LLM가 생성한 설명의 다양성이, 라벨이 없는 설정에서 최종 분류 정확도에 어떤 영향을 미치는가?
• RQ4 라벨이 없는 접근 방식이, 각 클래스당 5개의 라벨 예제에 의존하는 소수의 라벨 기반 프롬프팅 방법을 능가할 수 있는가?
• RQ5 다양한 아키텍처 구성 요소(예: 시각적 프롬프트, 정규화 적응)가, 라벨이 없는 미세조정 파이프라인의 전체 성능에 어떤 영향을 미치는가?

주요 결과

• LaFTer는 라벨이 없는 설정에서 기본 CLIP 모델보다 최대 11.7%p의 절대적인 정확도 향상을 달성하며, 이는 이전의 최신 기술 수준(SOTA) 방법을 능가한다.
• LaFTer는 제로샷 성능을 평균 6.7%p 향상시키며, EuroSAT와 같은 특정 벤치마크에서는 최대 28%p까지 향상된다.
• LaFTer는 라벨이 전혀 없는 조건에서 소수의 라벨 기반 프롬프팅 베이스라인의 평균 성능을 맞추거나 초월한다.
• 텍스트 전용 사전 훈련 구성 요소가 크게 기여하며, 의사 라벨링과 조합했을 때 EuroSAT에서 최대 4.2%p의 절대적 정확도 향상을 기록한다.
• 텍스트 분류기나 시각적 프롬프트와 같은 핵심 구성 요소를 제거할 경우 성능 저하가 심각하게 발생한다(예: 시각적 프롬프트 없이 -4.2%p).
• t-SNE 시각화 결과, LaFTer가 클래스 간 분리도를 향상시키고, 공유된 임베딩 공간에서 텍스트 임베딩을 시각 클러스터에 더 잘 일치시키는 것으로 나타났다.

Figure 2: Overview of our LaFTer. (top) Given a set of class labels, we generate a data set of short texts by prompting a Large Language Model (LLM) multiple times with each class name. We compute embeddings of these texts using CLIP text encoder. This lets us train a neural network, the Text Classi