[논문 리뷰] Semi-Supervising Learning, Transfer Learning, and Knowledge Distillation with SimCLR

Khoi Nguyen, Yen T. Nguyen외 1명|arXiv (Cornell University)|2021. 08. 02.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 6

한 줄 요약

이 논문은 SimCLR라는 대비적 자기지도 학습 프레임워크를 사용하여 준지도 학습, 전이 학습, 지식 정련을 조사한다. 전이 학습 정확도는 클래스 수가 많아질수록 감소하며, 지식 정련은 교사와 학생 모델이 아키텍처를 공유할 경우 향상되며, 대비 학습은 더 큰 배치 크기를 통해 이점을 얻는다—낮은 레이블 환경에서의 효율적 모델 압축 및 피니팅에 실용적인 통찰을 제공한다.

ABSTRACT

Recent breakthroughs in the field of semi-supervised learning have achieved results that match state-of-the-art traditional supervised learning methods. Most successful semi-supervised learning approaches in computer vision focus on leveraging huge amount of unlabeled data, learning the general representation via data augmentation and transformation, creating pseudo labels, implementing different loss functions, and eventually transferring this knowledge to more task-specific smaller models. In this paper, we aim to conduct our analyses on three different aspects of SimCLR, the current state-of-the-art semi-supervised learning framework for computer vision. First, we analyze properties of contrast learning on fine-tuning, as we understand that contrast learning is what makes this method so successful. Second, we research knowledge distillation through teacher-forcing paradigm. We observe that when the teacher and the student share the same base model, knowledge distillation will achieve better result. Finally, we study how transfer learning works and its relationship with the number of classes on different data sets. Our results indicate that transfer learning performs better when number of classes are smaller.

연구 동기 및 목표

• SimCLR에서의 대비 학습이 피니팅 성능에 미치는 영향을 분석하는 것.
• 공유 모델 아키텍처를 가진 교사-강사 방식의 지식 정련을 평가하는 것.
• SimCLR를 사용할 때 데이터셋의 클래스 수와 전이 학습 정확도 간의 관계를 조사하는 것.
• 데이터 증강과 배치 크기가 전이 학습 및 지식 정련에 미치는 영향을 검토하는 것.
• 낮은 레이블 데이터 환경에서의 모델 압축 및 효율적 피니팅을 위한 실용적 통찰을 제공하는 것.

제안 방법

• 데이터 증강(자르기, 뒤집기, 색상 왜곡, 회색조 변환)을 사용하여 ImageNet에서 대비 학습을 통해 SimCLR 모델을 사전 훈련한다.
• 동일한 이미지의 증강된 뷰 간 유사도를 극대화하고(양성 쌍), 다른 이미지 간 유사도를 최소화하는 데 NT-Xent 손실을 적용한다(음성 쌍).
• 기본 인코더를 동결한 후 선형 분류기를 사용하여 사전 훈련된 SimCLR 모델을 다운스트림 작업에 대해 피니팅한다.
• 교사 모델이 사전 훈련된 후, 그 결과로 생성된 소프트 레이블과 진짜 레이블을 모두 사용하여 더 작은 학생 모델을 훈련시키는 지식 정련을 적용한다.
• 기본 특징 추출기는 동결하고, 최상단 완전 연결 레이어만 훈련 가능한 ResNet50와 VGG16을 학생 모델로 사용한다.
• 계산 자원 제약으로 인해 64배치 크기를 고정하고, 다양한 클래스 수와 배치 크기를 가진 데이터셋에서 전이 학습 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 SimCLR를 사용할 때 데이터셋의 클래스 수가 전이 학습 정확도에 어떤 영향을 미치는가?
• RQ2 교사 및 학생 모델이 동일한 기본 아키텍처를 공유할 경우 지식 정련이 더 나은 성능을 내는가?
• RQ3 데이터 증강은 대비 학습과 이후 전이 학습 성능에 어떤 영향을 미치는가?
• RQ4 배치 크기가 SimCLR 기반 피니팅에서 전이 학습 정확도에 어떤 영향을 미치는가?
• RQ5 왜 더 큰 모델이 더 적은 수의 레이블 예제로 피니팅할 때 더 뛰어난 성능을 보이는가?

주요 결과

• 전이 학습 정확도는 클래스 수와 반비례한다: 고양이 대 개(2개 클래스)에서는 100%, tf_flowers(5개 클래스)에서는 90.6%, DTD(47개 클래스)에서는 65.6%, CIFAR-100(100개 클래스)에서는 25%, Food-101(101개 클래스)에서는 12.5%이다.
• 교사와 학생 모델이 동일한 기본 아키텍처를 공유할 경우 지식 정련 성능이 향상되며, 이는 아키텍처 일관성이 지식 전이를 향상시킨다는 것을 시사한다.
• 더 큰 배치 크기는 전이 학습 정확도를 향상시키며, 특히 클래스 수가 많은 데이터셋에서 두드러진다. 다만 GPU 메모리 제약으로 인해 최대 64까지 제한되었다.
• 대비 학습은 클래스 수가 적은 데이터셋에서 더 잘 작동한다. 클래스 다양성이 낮을수록 양성 쌍과 음성 쌍을 더 쉽게 구분할 수 있기 때문이다.
• 더 큰 모델은 더 적은 수의 레이블 예제로 피니팅할 때 더 큰 성능 향상을 보이며, 이는 더 넓은 특징 탐색 공간 덕분에 더 구분력 있는 특징를 효과적으로 선택할 수 있기 때문이다.
• SimCLR 프레임워크는 준지도 학습에서 뛰어난 성능을 보이며, 특히 대규모 무라벨 데이터를 대비 사전 훈련을 통해 활용할 경우 최신의 감독 학습 방법과 맞먹는다.