[논문 리뷰] Masked Unsupervised Self-training for Label-free Image Classification

Junnan Li, Silvio Savarese외 1명|arXiv (Cornell University)|2022. 06. 07.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 CLIP과 같은 제로샷 비전 모델의 성능을 향상시키기 위해, 가려진 이미지 모델링과 함께 가짜 레이블링을 동시에 최적화하는 비지도 미세조정 방법인 마스킹되지 않은 비지도 자기학습(MUST)을 제안한다. MUST는 레이블이 없는 데이터에서 학습함으로써 ViT-B 기반으로 ImageNet에서 77.7%의 상위 1위 정확도를 달성하였으며, CLIP의 제로샷 성능 대비 +9.4% 향상되고 16샷 지도 미세조정 대비 +6.2% 향상되었다.

ABSTRACT

State-of-the-art computer vision models are mostly trained with supervised learning using human-labeled images, which limits their scalability due to the expensive annotation cost. While self-supervised representation learning has achieved impressive progress, it still requires a second stage of finetuning on labeled data. On the other hand, models pre-trained with large-scale text-image supervision (e.g., CLIP) have enabled zero-shot transfer to downstream image classification tasks. However, the zero-shot performance of CLIP-like models are often insufficient for real-world adoption. In this paper, we aim to leverage the abundant unlabeled data from a target domain to improve the performance of a pre-trained zero-shot classifier, by unsupervised finetuning of the pre-trained model. We propose Masked Unsupervised Self-Training (MUST), a new unsupervised adaptation method which leverages two different and complementary sources of training signals: pseudo-labels and raw images. MUST jointly optimizes three objectives to learn both class-level global feature and pixel-level local feature and enforces a regularization between the two. We demonstrate the efficacy of MUST on a variety of downstream tasks, where it improves upon CLIP by a large margin. MUST also outperforms supervised few-shot adaptation methods. It achieves a top-1 accuracy of 77.7% on ImageNet using ViT-B, +9.4% higher than CLIP, and +6.2% higher than 16-shot CLIP adaptation. Our code is available at https://github.com/salesforce/MUST.

연구 동기 및 목표

• 스케일이 큰 모델임에도 불구하고 지도 학습 모델에 비해 성능이 열등한 CLIP 유사 모델의 제로샷 성능 격차를 해소한다.
• 다운스트림 도메인의 풍부한 레이블이 없는 데이터를 활용하여 인간의 레이블링이 필요 없이 사전 학습된 제로샷 분류기의 성능을 향상시킨다.
• 자기학습(노이즈가 많은 가짜 레이블에 의존)과 자기지도 학습(다운스트림 미세조정이 필요)의 한계를 극복하기 위해 두 가지 지도 신호를 융합한다.
• 전역 클래스 수준의 특징과 국소 픽셀 수준의 표현 간의 정규화 목표를 통해 통합된 프레임워크를 개발한다.
• 순수하게 비지도 미세조정을 통해 자원이 제한된 환경에서 실용적인 비전 모델 구현을 가능하게 하여 높은 성능을 달성한다.

제안 방법

• MUST는 타겟 도메인의 레이블이 없는 이미지만을 사용하여 사전 학습된 제로샷 분류기(예: CLIP)를 비지도 미세조정한다.
• 세 가지 목표를 동시에 최적화한다: (1) 교사 모델이 생성한 가짜 레이블을 사용한 자기학습, (2) 마스킹된 이미지 모델링(MAE 스타일)을 통한 가려진 패치 복원, (3) 전역-국소 특징 정렬을 통한 표현 학습 정규화.
• 자기학습 목표는 일관성 정규화와 엔트로피 최소화를 통해 변형된 입력에 대해 확신 있는 날카운 예측을 생성한다.
• 마스킹된 이미지 모델링 목표는 모델이 손실된 이미지 패치를 복원하도록 훈련시켜 국소 특징 학습을 향상시킨다.
• 전역-국소 정렬 목표는 전역 분류 헤드와 국소 표현 간의 구조적 관계를 강제하여 특징 품질을 향상시킨다.
• 학습 안정성을 높이기 위해 학생 모델의 온라인 네트워크에 대해 지수 이동 평균(EMA) 업데이트 전략을 적용한다.

실험 결과

연구 질문

• RQ1 가짜 레이블링과 마스킹된 이미지 모델링을 융합함으로써 레이블이 전혀 없는 조건에서 제로샷 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 전역-국소 특징 정렬 목표는 단독으로 사용하는 각 지도 신호보다 모델 일반화 성능을 얼마나 향상시키는가?
• RQ3 MUST를 통한 비지도 적응은 제로샷 모델과 완전히 지도 학습 모델 간의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 표준 미세조정 또는 CLIP의 제로샷 성능에 비해 MUST는 분포 이탈에 대해 더 강건한가?
• RQ5 ImageNet-R 및 ImageNet-A와 같은 분포 이탈 데이터셋에서 MUST를 통한 전도적 학습은 추가로 강건성을 향상시킬 수 있는가?

주요 결과

• MUST는 ViT-B 기반으로 ImageNet에서 77.7%의 상위 1위 정확도를 달성하였으며, CLIP의 제로샷 성능 대비 +9.4% 향상되었다.
• 동일한 벤치마크에서 MUST는 CLIP의 16샷 지도 미세조정 성능을 6.2%포인트 뛰어넘었다.
• ImageNet-V2에서 MUST는 CLIP 대비 정확도를 7.0% 향상시켜 자연적인 분포 이탈에 대한 일반화 능력 향상을 입증했다.
• ImageNet 웜업을 통한 전도적 MUST는 ImageNet-R에서 87.6%의 정확도를 기록하여 CLIP 대비 +9.9% 향상되었으며, 분포 이탈에 대한 강건성을 입증했다.
• 광범위한 아블레이션 연구를 통해 가짜 레이블링과 마스킹된 이미지 모델링이 성능 향상에 기여하며, 정렬 목표가 추가적인 성능 향상을 제공하는 것으로 확인되었다.
• 적응 과정에서 레이블이 전혀 없는 조건에서도 MUST는 일부 벤치마크에서 완전히 지도 학습 방법과 유사한 성능을 달성하였다.