[논문 리뷰] FixMatch: Simplifying Semi-Supervised Learning with Consistency and Confidence

Kihyuk Sohn, David Berthelot외 7명|arXiv (Cornell University)|2020. 01. 21.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 2,264

한 줄 요약

FixMatch는 약한 증강을 사용하여 가짜 레이블(pseudo-labels)을 생성하고, 그런 다음 강하게 증강된 버전으로 학습하여 그 레이블과 일치시키는 간단한 SSL 알고리즘을 도입한다; 이는 CIFAR-10에 250개의 레이블과 클래스당 4개 라벨처럼 표준 SSL 벤치마크에서 최첨단 성능을 달성한다.

ABSTRACT

Semi-supervised learning (SSL) provides an effective means of leveraging unlabeled data to improve a model's performance. In this paper, we demonstrate the power of a simple combination of two common SSL methods: consistency regularization and pseudo-labeling. Our algorithm, FixMatch, first generates pseudo-labels using the model's predictions on weakly-augmented unlabeled images. For a given image, the pseudo-label is only retained if the model produces a high-confidence prediction. The model is then trained to predict the pseudo-label when fed a strongly-augmented version of the same image. Despite its simplicity, we show that FixMatch achieves state-of-the-art performance across a variety of standard semi-supervised learning benchmarks, including 94.93% accuracy on CIFAR-10 with 250 labels and 88.61% accuracy with 40 -- just 4 labels per class. Since FixMatch bears many similarities to existing SSL methods that achieve worse performance, we carry out an extensive ablation study to tease apart the experimental factors that are most important to FixMatch's success. We make our code available at https://github.com/google-research/fixmatch.

연구 동기 및 목표

• 레이블링 노력을 최소화한 채 비표시 데이터 활용을 위한 실용적 방법으로 SSL의 동기를 제시한다.
• 가짜 레이블링과 일관성 정규화를 결합한 간단한 SSL 알고리즘을 제안한다.
• 임계값 기반 가짜 레이블링과 강한 증강의 조합이 벤치마크 전반에서 우수한 성능을 낳는다는 것을 보여준다.
• 증강 전략과 최적화 알고리즘 선택을 포함하여 SSL 성능에 영향을 미치는 주요 요인을 평가한다.

제안 방법

• 모델 예측을 사용하여 약하게 증강된 비라벨 이미지로부터 가짜 레이블을 생성한다.
• 최대 클래스 확률이 임계값 τ를 넘는 경우에만 가짜 레이블을 유지한다.
• 같은 비라벨 이미지의 강하게 증강된 버전에 대해 교차 엔트로피 손실로 가짜 레이블을 맞추면서 학습한다.
• 라벨이 있는 데이터에 대한 표준 감독 손실(ℓs)과 라벨이 없는 데이터의 손실(λuℓu)을 결합한다.
• 레이블 예측에는 약한 증강을, 학습에는 강한 증강(RandAugment/CTAugment with Cutout)을 사용한다.
• 임계값 설정, 샤프닝, 증강 전략, 정규화 등의 요소에 대한 광범위한 제거 실험을 보고한다.

실험 결과

연구 질문

• RQ1 가짜 레이블링과 일관성 정규화의 더 간단한 조합이 더 복잡한 SSL 방법들보다 성능이 우수한가?
• RQ2 저표지 환경에서 증강 선택, 임계값 설정, 최적화 설정이 FixMatch의 성능에 어떻게 영향을 미치는가?
• RQ3 FixMatch가 최소한의 하이퍼파라미터 튜닝으로 표준 SSL 벤치마크에서 최첨단 결과를 달성할 수 있는가?

주요 결과

• FixMatch는 CIFAR-10에 250 labels에서 94.93% 정확도와 클래스당 4개 라벨에서 88.61% 정확도로 최첨단 결과를 달성한다.
• 이 방법은 CIFAR-10/100, SVHN, STL-10, ImageNet에서도 여전히 강력하며, 종종 이전 SSL 방법들보다 우수하지만 더 단순하다.
• 임계값 기반 가짜 레이블링(τ = 0.95)과 강한 증강의 사용이 성능의 핵심이며, 임계값을 사용할 때 샤프닝만으로는 성능이 향상되지 않는다.
• 정규화 선택(가중치 감소)과 SGD 최적화는 FixMatch의 단순성에도 불구하고 SSL 성공에 영향을 주는 중요한 요인이다.
• 관련 SSL 연구의 확장(예: Distribution Alignment)은 FixMatch 성능을 더 개선할 수 있지만, 핵심 접근법은 단순하고 효과적이다.