[논문 리뷰] Few-Shot Image Classification via Contrastive Self-Supervised Learning

Jianyi Li, Guizhong Liu|arXiv (Cornell University)|2020. 08. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 4인용 수 10

한 줄 요약

이 논문은 메타학습을 대체하기 위해 대조적 자기지도 학습을 사용하여 일반화 가능한 특징 추출기를 사전 훈련하는 새로운 비지도 소수 샘플 학습 프레임워크인 CSSL-FSL을 제안한다. 이후 그래프 집계, 자기 distillation, 다양체 증강을 사용하여 작업에 특화된 분류기를 훈련시켜, 레이블이 부여된 기본 클래스나 작업에 특화된 메타학습 없이 다양한 소수 샘플 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most previous few-shot learning algorithms are based on meta-training with fake few-shot tasks as training samples, where large labeled base classes are required. The trained model is also limited by the type of tasks. In this paper we propose a new paradigm of unsupervised few-shot learning to repair the deficiencies. We solve the few-shot tasks in two phases: meta-training a transferable feature extractor via contrastive self-supervised learning and training a classifier using graph aggregation, self-distillation and manifold augmentation. Once meta-trained, the model can be used in any type of tasks with a task-dependent classifier training. Our method achieves state of-the-art performance in a variety of established few-shot tasks on the standard few-shot visual classification datasets, with an 8- 28% increase compared to the available unsupervised few-shot learning methods.

연구 동기 및 목표

• 메타학습을 위해 큰 레이블이 부여된 기본 클래스가 필요한 기존 소수 샘플 학습 방법의 한계를 해결하기 위해.
• 메타학습된 모델이 특정 N-웨이 k-샷 작업 구성에 국한되는 제약을 극복하기 위해.
• 재학습 없이 다양한 소수 샘플 작업 유형으로 일반화 가능한 통합형 이전 가능 특징 추출기를 개발하기 위해.
• 사전 훈련 단계에서는 레이블이 없는 데이터만 사용하고, 미세 조정 단계에서는 최소한의 감독을 사용하여 고성능의 소수 샘플 분류를 가능하게 하기 위해.

제안 방법

• 큰 규모의 레이블이 없는 이미지 세트를 사용하여 대조적 자기지도 학습을 통해 특징 추출기를 사전 훈련하여, 기존의 메타학습을 가짜 소수 샘플 작업으로 대체한다.
• 실제 소수 샘플 작업에서 지원 세트와 쿼리 세트의 특징을 사전 훈련된 백본을 사용해 추출한다.
• 작업에 특화된 그래프를 적용하여 특징을 집계하고, 그래프 컨볼루션 연산을 통해 지원 특징과 쿼리 특징 간의 상호작용을 가능하게 한다.
• 집계된 지원 특징에 대해 완전히 연결된 분류기를 훈련하고, 일반화를 향상시키기 위해 자기 distillation을 적용한다.
• 다양체 데이터 증강을 적용하여 여러 이미지의 의미적 특징을 조합하여 새로운 훈련 샘플을 합성한다.
• 두 단계 훈련 과정을 사용하여 분류기를 미세 조정한다: 먼저 증강된 데이터로, 그 다음 자기 distillation을 통해 예측을 정밀하게 조정한다.

실험 결과

연구 질문

• RQ1 대조적 자기지도 학습이 가짜 소수 샘플 작업을 통해 메타학습을 대체하여 일반화 가능한 특징 추출기를 사전 훈련하는 데 성공할 수 있는가?
• RQ2 한 개의 사전 훈련된 모델이 재학습 없이도 다양한 N-웨이 k-샷 작업 구성에 효과적으로 일반화되는가?
• RQ3 자기 distillation과 다양체 증강이 소수 샘플 분류 정확도 향상에 기여하는 방식은 무엇인가?
• RQ4 비지도 사전 훈련이 큰 레이블이 부여된 기본 클래스에 의존하는 지도 학습 기반 소수 샘플 방법과 비교해 유사하거나 더 높은 성능을 달성할 수 있는가?

주요 결과

• CSSL-FSL는 miniImageNet에서 최신 기술 수준의 성능을 달성하여, 비지도 소수 샘플 학습 방법의 정확도를 8–28% 향상시켰다.
• 5-웨이 1-샷 및 5-웨이 5-샷 작업에서, 큰 데이터셋으로 사전 훈련한 경우, 일부 지도 학습 방법인 [5] 및 [2]보다도 1–8% 높은 정확도를 기록했다.
• 모델은 작업 유형 간에 일반화된다: 1-샷에서 54.17%에서 30-샷에서 80.83%로 정확도가 향상되었으며, 메타학습 기반 방법인 EGNN는 높은 k 값에서 성능이 저하된다.
• 자기 distillation은 정확도를 0.4–0.9% 향상시키며, 다양체 증강은 추가로 0.8–2%의 성능 향상을 기여한다. 제거 실험 결과 1-샷 설정에서 두 기법을 모두 제거하면 정확도가 3% 감소한다.
• 더 큰 사전 훈련 데이터셋을 사용할수록 성능 향상이 뚜렷하게 나타나, 대조적 자기지도 학습의 확장 가능성을 확인한다.
• 모델는 강력한 제로샷 일반화 성능을 보이며, 한 번의 사전 훈련 단계로 어떤 N-웨이 k-샷 작업에도 재학습 없이 배포가 가능하다.