[논문 리뷰] SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning

Byoungjip Kim, Jinho Choo외 4명|arXiv (Cornell University)|2021. 01. 16.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 29

한 줄 요약

SelfMatch는 대비적 자기초 supervison 프리트레이닝과 증강일관성의 반지도학습 파인을 통해 CIFAR-10과 SVHN에서 매우 적은 라벨로도 최첨단 결과를 달성합니다.

ABSTRACT

This paper introduces SelfMatch, a semi-supervised learning method that combines the power of contrastive self-supervised learning and consistency regularization. SelfMatch consists of two stages: (1) self-supervised pre-training based on contrastive learning and (2) semi-supervised fine-tuning based on augmentation consistency regularization. We empirically demonstrate that SelfMatch achieves the state-of-the-art results on standard benchmark datasets such as CIFAR-10 and SVHN. For example, for CIFAR-10 with 40 labeled examples, SelfMatch achieves 93.19% accuracy that outperforms the strong previous methods such as MixMatch (52.46%), UDA (70.95%), ReMixMatch (80.9%), and FixMatch (86.19%). We note that SelfMatch can close the gap between supervised learning (95.87%) and semi-supervised learning (93.19%) by using only a few labels for each class.

연구 동기 및 목표

• 라벨 효율적 학습을 동기화하기 위해 자기지도 프리트레이닝과 반지도학습 파인을 활용합니다.
• 대비적 프리트레이닝(SimCLR)과 증강 일관성 파인(Tuning)으로 최고 성능에 도달한다.
• 두 단계가 서로 보완적이며 소수의 라벨로 지도학습과 반지도학습 간 격차를 줄일 수 있음을 보인다.

제안 방법

• SelfMatch는 두 단계 접근 방식을 사용합니다: (1) 라벨이 없는 데이터에서 표현을 학습하기 위한 대비 학습 기반의 자기지도 프리트레이닝(SimCLR 기반), (2) 약-강한 증강을 활용한 증강 일관성 기반의 반지도학습 파인팅(FixMatch 기반).
• 프리트레이닝에서 ResNet-34 인코더와 2계층 MLP 프로젝션 헤드를 사용하여 동일 이미지 뷰 간 유사성을 대조적 손실로 최대화하며, 데이터 증강에는 랜덤 크롭과 컬러 왜곡이 포함됩니다.
• 반지도 학습 파인팅에서는 약/강한 증강(RandAugment)을 적용하고, 신뢰 임계치를 사용하여 약하게 증강된 데이터에서의 감독적 크로스엔트로피와 강하게 증강된 데이터에서의 무감독 일관성을 결합한 손실을 최적화합니다.
• 학습 구성은 모멘텀을 가진 SGD, 코사인 학습률 감소, 안정성을 위한 EMA(Exponentially Moving Average)를 포함합니다.
• Table 2는 자기지도 프리트레이닝이 기반 반지도 방법에 미치는 영향을 보여주는 제거 실험(ablation) 결과를 제시합니다.

실험 결과

연구 질문

• RQ1 대비적 자기지도 프리트레이닝이 제한된 라벨 데이터에서 반지도학습 성능을 개선할 수 있는가?
• RQ2 증강-일관성 반지도학습 파인은 사전 대비 프리트레이닝 단계에서 이점을 얻는가?
• RQ3 SelfMatch가 표준 벤치마크(CIFAR-10, SVHN)에서 매우 소수의 라벨로 기존의 최첨단 방법과 비교하여 어떤 성능을 보이는가?

주요 결과

• SelfMatch는 라벨 규모에 따라 CIFAR-10과 SVHN에서 새로운 최첨단 결과를 달성합니다. CIFAR-10의 경우 40, 250, 4000 라벨, SVHN의 경우 40, 250, 1000 라벨에서 모두 성능이 우수합니다.
• CIFAR-10에서 40 라벨일 때 SelfMatch는 93.19%의 정확도를 달성하여 MixMatch(52.46%), UDA(70.95%), ReMixMatch(80.9%), FixMatch(86.19%)를 능가합니다.
• 자기지도 프리트레이닝은 기반 반지도 방법들(MixMatch의 경우 +10.96%, FixMatch의 경우 +7.00% 등)에서 상당한 이점을 제공합니다.
• SelfMatch는 소수 라벨에서도 95.87%의 CIFAR-10에서의 지도학습 성능과 93.19%의 반지도학습 성능 간의 격차를 unlabeled 데이터를 효과적으로 활용함으로써 좁힙니다.
• 부록 C의 제거 연구 및 학습곡선 비교를 통해 SelfMatch가 경쟁 방법들보다 더 빠르고 더 높은 정확도로 수렴함이 입증됩니다.