[논문 리뷰] GIST: Generating Image-Specific Text for Fine-grained Object Classification

Kathleen M. Lewis, Emily Mu외 2명|arXiv (Cornell University)|2023. 07. 21.

Multimodal Machine Learning ApplicationsComputer Science인용 수 3

한 줄 요약

GIST는 대규모 언어 모델(GPT)에 도메인 전용 프롬프트를 사용하여 세분화된, 이미지에 특화된 텍스트 설명을 생성하고, 이를 CLIP를 통해 이미지에 매칭함으로써 세분화된 물체 분류를 위한 방법을 제안한다. 생성된 이미지-텍스트 쌍을 대비 학습을 통해 CLIP를 미세조정함으로써, 네 가지 다양한 데이터셋에서 전체 샘플 및 소수 샘플 설정 모두에서 최신 기술 수준의 성능을 달성하였으며, CLIP 선형 프로브 대비 평균 4.1%의 정확도 향상을 기록하였다.

ABSTRACT

Recent vision-language models outperform vision-only models on many image classification tasks. However, because of the absence of paired text/image descriptions, it remains difficult to fine-tune these models for fine-grained image classification. In this work, we propose a method, GIST, for generating image-specific fine-grained text descriptions from image-only datasets, and show that these text descriptions can be used to improve classification. Key parts of our method include 1. prompting a pretrained large language model with domain-specific prompts to generate diverse fine-grained text descriptions for each class and 2. using a pretrained vision-language model to match each image to label-preserving text descriptions that capture relevant visual features in the image. We demonstrate the utility of GIST by fine-tuning vision-language models on the image-and-generated-text pairs to learn an aligned vision-language representation space for improved classification. We evaluate our learned representation space in full-shot and few-shot scenarios across four diverse fine-grained classification datasets, each from a different domain. Our method achieves an average improvement of $4.1\%$ in accuracy over CLIP linear probes and an average of $1.1\%$ improvement in accuracy over the previous state-of-the-art image-text classification method on the full-shot datasets. Our method achieves similar improvements across few-shot regimes. Code is available at https://github.com/emu1729/GIST.

연구 동기 및 목표

• 세분화된 분류 작업을 위한 비전-언어 모델의 미세조정에 필요한 짝지어진 이미지-텍스트 데이터가 부족한 문제를 해결하기 위해.
• 도메인 전용 프롬프트를 사용하여 대규모 언어 모델을 활용해 다양하고 클래스 기반, 세분화된 텍스트 기술을 생성하기 위해.
• 사전 학습된 비전-언어 모델(CLIP)을 사용하여 각 이미지에 가장 관련성 있고 레이블을 유지하는 텍스트 기술을 시각-의미적 유사도 기반으로 매칭하기 위해.
• 자동으로 생성된 이미지-텍스트 쌍을 기반으로 CLIP를 미세조정하여 제로샷 및 소수 샘플 분류 정확도를 향상시키기 위해.
• 피부과, 새, 꽃, 항공기 등 다양한 도메인에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 도메인 전용 프롬프트(예: '수컷 서던 메도우락은 어떤 외형을 지녔나요?')를 사용하여 대규모 언어 모델(GPT)을 통해 각 클래스에 대해 다양하고 세분화된 캡션을 생성한다.
• 사전 학습된 비전-언어 모델(CLIP)을 적용하여, 시각-의미적 유사도 기반으로 각 훈련 이미지에 가장 관련성 있고 레이블을 유지하는 캡션을 매칭한다.
• 매칭된 캡션을 압축하여 CLIP의 미세조정에 적합한 간결하고 정보적인 기술로 요약한다.
• 생성된 이미지-텍스트 쌍을 기반으로 대비 학습을 통해 CLIP를 미세조정하여 비전 및 언어 표현 공간을 정렬한다.
• 결과로 생성된 정렬된 표현을 전체 샘플 및 소수 샘플 이미지 분류에 모두 활용한다.
• 미세조정된 CLIP의 성능을 시각 기반 모델인 GIT과 같은 다른 방법과 비교한다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델의 도메인 전용 프롬프트가 일반적인 프롬프트보다 더 구분력 있고 세분화된 캡션을 생성할 수 있는가?
• RQ2 CLIP를 통해 이미지에 특화된 캡션을 이미지에 매칭함으로써 후행 세분화된 분류 성능이 향상되는가?
• RQ3 이미지당 캡션 수와 캡션 길이가 분류 정확도에 미치는 영향은 무엇인가?
• RQ4 GIST가 생성한 이미지-텍스트 쌍은 전체 샘플 및 소수 샘플 환경 모두에서 다양한 세분화된 데이터셋에서 일관되게 성능 향상을 이끌 수 있는가?
• RQ5 GIST가 생성한 쌍을 기반으로 CLIP를 미세조정하는 것과 동일한 데이터를 기반으로 시각 기반 모델인 GIT을 미세조정하는 것의 성능 비교는 어떻게 되는가?

주요 결과

• GIST는 네 가지 세분화된 분류 벤치마크에서 전체 샘플 설정에서 CLIP 선형 프로브 대비 평균 4.1%의 정확도 향상을 기록하였다.
• GIST는 전체 샘플 설정에서 이전 최신 기술 수준의 이미지-텍스트 분류 방법보다 평균 1.1% 높은 정확도를 달성하였다.
• 소수 샘플 환경에서도 유사한 성능 향상을 기록하였으며, 5-shot Fitzpatrick40에서 상위 1 정확도가 44.10%로 GIT의 24.02%보다 높았다.
• 원래 GPT가 생성한 캡션을 압축함으로써, 긴 원본 기술을 그대로 사용하는 것보다 후행 분류 성능이 향상되었다.
• 동일한 이미지-텍스트 쌍을 기반으로 CLIP를 미세조정하는 것이 시각 기반 모델인 GIT을 미세조정하는 것보다 성능이 뛰어나며, 특히 데이터가 적은 환경에서 두드러진다.
• 피부과(Fitzpatrick40), 새(CUB200-2011), 꽃(Flowers102), 항공기(FGVC-Aircraft) 등 다양한 도메인에서 강건한 성능을 보였다.