[논문 리뷰] S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions

Sangwoo Mo, Minkyu Kim외 2명|arXiv (Cornell University)|2023. 05. 23.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

S-CLIP는 소수의 쌍화된 이미지-텍스트 캡션과 풍부한 쌍화되지 않은 이미지를 활용하여 전문화된 도메인에서 CLIP의 성능을 햖थन하는 반감독 시각-언어 사전학습 방법을 제안한다. 최적 운반 이론을 통한 캡션 수준의 가짜 레이블링과 부분 레이블 학습을 통한 키워드 수준의 가짜 레이블링을 도입하여, 감독 미세조정 대비 레이블 데이터의 1/3만 사용함에도 불구하고 10% 높은 제로샷 정확도와 4% 향상된 검색 성능을 달성한다.

ABSTRACT

Vision-language models, such as contrastive language-image pre-training (CLIP), have demonstrated impressive results in natural image domains. However, these models often struggle when applied to specialized domains like remote sensing, and adapting to such domains is challenging due to the limited number of image-text pairs available for training. To address this, we propose S-CLIP, a semi-supervised learning method for training CLIP that utilizes additional unpaired images. S-CLIP employs two pseudo-labeling strategies specifically designed for contrastive learning and the language modality. The caption-level pseudo-label is given by a combination of captions of paired images, obtained by solving an optimal transport problem between unpaired and paired images. The keyword-level pseudo-label is given by a keyword in the caption of the nearest paired image, trained through partial label learning that assumes a candidate set of labels for supervision instead of the exact one. By combining these objectives, S-CLIP significantly enhances the training of CLIP using only a few image-text pairs, as demonstrated in various specialist domains, including remote sensing, fashion, scientific figures, and comics. For instance, S-CLIP improves CLIP by 10% for zero-shot classification and 4% for image-text retrieval on the remote sensing benchmark, matching the performance of supervised CLIP while using three times fewer image-text pairs.

연구 동기 및 목표

• 대규모 쌍화된 데이터가 부족한 전문화된 도메인(예: 원격 감시)에서 시각-언어 사전학습을 향상시키기 위해.
• 유사한 이미지에 대해서도 캡션의 다양성이 심한 경우에 일반적인 가짜 레이블링 전략이 실패하는 문제를 해결하기 위해.
• 소수의 쌍화된 이미지-텍스트 예제와 함께 쌍화되지 않은 이미지를 효과적으로 활용하는 반감독 학습 프레임워크를 개발하기 위해.
• 대조 학습과 언어 모odal리티에 적합한 가짜 레이블링 전략을 설계하여 분포 이탈과 캡션 다양성에 대한 강건성을 확보하기 위해.
• 완전 감독 CLIP와 유사한 성능을 달성하면서도 훨씬 적은 수의 레이블된 이미지-텍스트 쌍을 사용하기 위해.

제안 방법

• 쌍화되지 않은 이미지와 쌍화된 이미지 간의 최적 운반 문제를 풀어 캡션 수준의 가짜 레이블링을 생성함으로써, 레이블된 캡션에 대한 확률 분포를 도출하여 전반적인 의미 정렬을 이끌어내는 방식이다.
• 가장 가까운 레이블된 이미지에서 키워드 후보 집합을 구성하고, 이 작업을 부분 레이블 학습 문제로 간주하여 국소적인 시각-의미적 구성 요소를 모델링한다.
• 두 가지 가짜 레이블링 목표를 통합함: 캡션 수준은 이미지-텍스트 검색을 위한 것이고, 키워드 수준은 제로샷 분류를 위한 것이며, 상호보완적인 학습을 가능하게 한다.
• 감독 데이터와 가짜 레이블 데이터를 모두 사용하여 대조 학습을 수행하며, 가짜 레이블은 학습 과정에서 반복적으로 개선된다.
• 최적화된 배치 샘플링을 통해 미니배치를 시각적 유사도 기준으로 정렬함으로써 가짜 레이블 품질과 학습 안정성을 향상시킨다.
• 외부 검출기나 클래스 레이블에 의존하지 않아, 레이블링 인프라가 제한된 도메인에도 적용 가능하다.

실험 결과

연구 질문

• RQ1 소수의 쌍화된 캡션과 풍부한 쌍화되지 않은 이미지를 활용한 반감독 학습이 전문화된 도메인에서 시각-언어 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 캡션의 높은 다양성과 고유성을 감안할 때, 가짜 레이블링 전략은 어떻게 설계되어야 하며, 근접한 캡션에만 할당되는 것과 같은 붕괴 현상을 방지할 수 있는가?
• RQ3 캡션 수준과 키워드 수준의 가짜 레이블링이 결합될 경우, 제로샷 분류 및 이미지-텍스트 검색 성능 향상에 어느 정도 기여하는가?
• RQ4 레이블된 데이터와 레이블이 없는 데이터 간의 분포 이탈이 존재하는 상황에서, 최적 운반 기반의 캡션 가짜 레이블링이 단순한 근접 캡션 할당보다 우수한가?
• RQ5 정확한 레이블 감독이 제공되지 않을 경우, 키워드에 대해 부분 레이블 학습을 적용하면 모델의 일반화 성능이 향상되는가?

주요 결과

• S-CLIP는 표준 CLIP 미세조정 대비 RSICD 원격 감시 벤치마크에서 제로샷 분류 정확도를 10% 향상시키고, 이미지-텍스트 검색 성능을 4% 향상시켰다.
• S-CLIP는 감독 미세조정에 비해 사용된 이미지-텍스트 쌍의 1/3만으로도 완전 감독 CLIP와 유사한 성능을 달성하여 높은 데이터 효율성을 입증했다.
• 제거 분석 결과, 캡션 수준과 키워드 수준의 가짜 레이블링 모두가 유의미하게 기여하며, 두 전략의 조합이 가장 우수한 성능을 내는 것으로 확인되었다.
• 정렬된 미니배치 샘플링은 제로샷 정확도에서 1.5% 향상되고 검색 성능에서 0.6% 향상되어 정보량이 많은 배치 구성의 이점을 입증했다.
• 기본 모델 제거 분석 결과, 키워드 정보와 반감독 학습 모두 독립적으로 기여하며, 함께 사용할 경우 70.6%의 제로샷 정확도와 10.1%의 검색 성능을 달성했다.
• 클래스 이름이 존재하지 않는 상황에서도 모델이 효과적으로 기능함을 입증하였으며, 94.8%의 캡션에서 두 개 이상의 키워드를 포함하고 있어 부분 레이블 학습의 필요성을 확인했다.