[논문 리뷰] SVL-Adapter: Self-Supervised Adapter for Vision-Language Pretrained Models

Omiros Pantazis, Gabriel Brostow외 2명|arXiv (Cornell University)|2022. 10. 07.

Multimodal Machine Learning Applications인용 수 16

한 줄 요약

SVL-Adapter는 시각-언어 사전학습과 자기지도 학습 표현 학습을 결합하는 자기지도 학습 어댑터로, 분포 외 데이터셋에서의 제로-샷 및 로우-샷 이미지 분류 성능을 향상시킵니다. 기존 방법 대비 평균 10%의 정확도 향상을 달성하며, 레이블이 부여된 검증 데이터가 필요 없는 자동 초파rameter 선택 방법을 도입합니다.

ABSTRACT

Vision-language models such as CLIP are pretrained on large volumes of internet sourced image and text pairs, and have been shown to sometimes exhibit impressive zero- and low-shot image classification performance. However, due to their size, fine-tuning these models on new datasets can be prohibitively expensive, both in terms of the supervision and compute required. To combat this, a series of light-weight adaptation methods have been proposed to efficiently adapt such models when limited supervision is available. In this work, we show that while effective on internet-style datasets, even those remedies under-deliver on classification tasks with images that differ significantly from those commonly found online. To address this issue, we present a new approach called SVL-Adapter that combines the complementary strengths of both vision-language pretraining and self-supervised representation learning. We report an average classification accuracy improvement of 10% in the low-shot setting when compared to existing methods, on a set of challenging visual classification tasks. Further, we present a fully automatic way of selecting an important blending hyperparameter for our model that does not require any held-out labeled validation data. Code for our project is available here: https://github.com/omipan/svl_adapter.

연구 동기 및 목표

• 의료, 원격 감시, 생물다양성 이미지와 같은 어려운 시각 데이터셋에서 CLIP와 같은 시각-언어 모델의 일반화 능력 부족 문제를 해결하기 위해.
• 보존된 레이블이 있는 데이터를 활용해 초파라미터를 튜닝하는 데 의존하는 기존 어댑터 방법의 한계를 극복하기 위해.
• 로우-리소스 환경에서 표현 학습 성능 향상을 위해 시각-언어 사전학습과 자기지도 학습의 장점을 융합하기 위해.
• 레이블이 부여된 검증 데이터가 없이도 CLIP와 자기지도 학습 특징 간 혼합 초파라미터를 자동으로 선택할 수 있는 완전 자동화된 방법을 개발하기 위해.

제안 방법

• 동일한 이미지 데이터로부터 학습된 시각-언어 모델(예: CLIP)의 특징과 자기지도 학습 표현을 융합하는 경량 어댑터 모듈인 SVL-Adapter를 도입합니다.
• 학습 가능한 블렌딩 게이트를 사용해 CLIP 특징와 자기지도 학습 특징를 동적으로 결합함으로써 융합 과정의 엔드 투 엔드 최적화를 가능하게 합니다.
• 레이블 없이도 타겟 데이터셋의 이미지에서 학습된 자기지도 표현 헤드를 사용하며, SimCLR나 MoCo와 같은 대비 학습 목표를 활용합니다.
• 레이블이 부여된 검증 세트가 필요 없는, 비-label 기반의 자동 초파라미터 선택 메커니즘을 제안합니다. 이는 비-label 데이터에 대한 모델 예측을 활용해 최적의 블렌딩 가중치를 추정합니다.
• 로우-샷 및 제로-샷 설정 모두에 어댑터를 적용합니다: 로우-샷에서는 CLIP의 의사라벨을 학습 타겟으로 사용하고, 제로-샷에서는 CLIP의 제로-샷 능력을 그대로 활용하며 적응된 특징을 사용합니다.
• 이미지 데이터와 의사라벨의 조합으로 어댑터를 훈련하고, 최종 분류기 헤드를 엔드 투 엔드로 미세조정합니다.

실험 결과

연구 질문

• RQ1 시각-언어 사전학습과 자기지도 표현 학습을 융합함으로써, 어려운 분포 외 데이터셋에서 제로-샷 및 로우-샷 이미지 분류 성능을 크게 향상시킬 수 있는가?
• RQ2 제안된 블렌딩 게이트를 위한 자동 초파라미터 선택 방법이, 레이블이 부여된 검증 데이터가 필요한 기존 방법보다 우수한가?
• RQ3 다양한 시각 분류 작업에서 기존 어댑터 방법과 비교해 SVL-Adapter는 정확도와 데이터 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 어댑터 또는 튜닝에 레이블이 부여된 데이터를 전혀 사용하지 않고도, SVL-Adapter는 제로-샷 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• 로우-샷 설정에서 기존 방법 대비 평균 10% 높은 정확도를 달성함으로써, 어려운 시각 분류 작업에서 SVL-Adapter는 뛰어난 성능을 보입니다.
• 어려운 데이터셋에서 SVL-Adapter는 최신 기술 대비 뚜렷한 승리를 거두며, 특히 2-shot 설정 이상에서 가장 큰 성능 향상을 보입니다.
• 레이블이 부여된 검증 데이터가 전혀 필요 없는 자동 초파라미터 선택 방법(SVL-Adapter*)은 어려운 데이터셋에서 SVL-Adapter와 유사한 성능을 달성합니다.
• 제로-샷 설정에서 SVL-Adapter*는 어려운 데이터셋에서 표준 CLIP 대비 평균 8% 높은 정확도를 기록했고, 표준 데이터셋에서는 5% 향상되었습니다.
• ImageNet과 CIFAR와 같은 표준 데이터셋에서도 경쟁력 있는 성능를 유지하며, 강력한 베이스라인으로서의 일반성과 유용성을 입증합니다.
• 강력한 성능에도 불구하고, SVL-Adapter는 자주 어려운 자기지도 학습 대상인 Fine-grained 데이터셋인 StanfordCars와 FGVCAircraft에서는 한계를 보입니다.