[논문 리뷰] FreeMatch: Self-adaptive Thresholding for Semi-supervised Learning

Yidong Wang, Hao Chen외 10명|arXiv (Cornell University)|2022. 05. 15.

Domain Adaptation and Few-Shot Learning인용 수 139

한 줄 요약

FreeMatch는 SSL에 자기적응 임계값화(SAT)와 자기적응 클래스 공정성(SAF)을 도입하여 학습 상태에 따라 클래스별 및 전역 신뢰 임계값을 함께 조정하고, 매우 희소한 라벨에서 특히 우수한 성능을 발휘한다.

ABSTRACT

Semi-supervised Learning (SSL) has witnessed great success owing to the impressive performances brought by various methods based on pseudo labeling and consistency regularization. However, we argue that existing methods might fail to utilize the unlabeled data more effectively since they either use a pre-defined / fixed threshold or an ad-hoc threshold adjusting scheme, resulting in inferior performance and slow convergence. We first analyze a motivating example to obtain intuitions on the relationship between the desirable threshold and model's learning status. Based on the analysis, we hence propose FreeMatch to adjust the confidence threshold in a self-adaptive manner according to the model's learning status. We further introduce a self-adaptive class fairness regularization penalty to encourage the model for diverse predictions during the early training stage. Extensive experiments indicate the superiority of FreeMatch especially when the labeled data are extremely rare. FreeMatch achieves 5.78%, 13.59%, and 1.28% error rate reduction over the latest state-of-the-art method FlexMatch on CIFAR-10 with 1 label per class, STL-10 with 4 labels per class, and ImageNet with 100 labels per class, respectively. Moreover, FreeMatch can also boost the performance of imbalanced SSL. The codes can be found at https://github.com/microsoft/Semi-supervised-learning.

연구 동기 및 목표

• SSL에서 모델의 학습 상태와 데이터의 난이도를 반영하도록 임계값 설계를 동기 부여한다.
• 수동 조정 없이 전역 및 클래스별 임계값을 동적으로 설정하기 위해 SAT를 제안한다.
• 적은 양의 라벨 데이터로 학습을 개선하기 위해 클래스별 예측의 다양성을 촉진하는 SAF를 도입한다.
• 표준 SSL 벤치마크 전반에서 강력한 실험적 이득을 입증하며, 특히 초저라벨 환경에서 두드러진다.

제안 방법

• SAT는 학습 상태를 반영하기 위해 비라벨 데이터 신뢰도의 EMA로 글로벌 임계값을 추정한다.
• 로컬 클래스 임계값은 EMA 기반 클래스 신뢰도에서 계산되어 Global 임계값과 MaxNorm 스케일링으로 결합된다.
• 비지도 손실은 예측 신뢰도가 자기적응 임계값을 초과하는 비라벨 샘플만 사용한다.
• SAF는 EMA 통계와 히스토그램을 기반으로 한 자기적응 목표 분포와 배치의 예측 클래스 분포를 맞춤으로써 예측의 다양성을 정규화한다.
• 전체 학습 목표는 supervised loss, unsupervised loss, fairness loss를 결합한다: L = Ls + w_u Lu + w_f Lf.

실험 결과

연구 질문

• RQ1 SSL 학습 중 신뢰 임계값을 어떻게 적응시켜 데이터 활용과 확인 편향을 피할 수 있을까?
• RQ2 클래스별(로컬) 임계값이 단일 전역 임계값보다 SSL 성능을 향상시킬 수 있을까? 특히 클래스 불균형이나 분류가 어려운 클래스에서.
• RQ3 레이블 데이터가 극도로 희소할 때 자기적응 클래스 공정성 목표를 도입하면 학습이 개선되는가?

주요 결과

• FreeMatch는 SSL 벤치마크 전반에서 최첨단 혹은 경쟁력 있는 결과를 달성하며, 라벨이 극도로 희소할 때 오류율을 특히 줄인다(예: CIFAR-10은 클래스당 1개 라벨, STL-10은 40개 라벨, ImageNet은 클래스당 100개 라벨).
• 전역 및 클래스별 EMA 기반 임계값은 학습 상태를 반영하여 수렴 속도를 높이고 의사레이블 품질을 향상시킨다.
• SAF는 예측의 다양성을 향상시키고 수렴 속도를 높이며, 특히 거의 감독되지 않는 설정에서 효과가 크다.
• ImageNet에서 클래스당 100개 라벨일 때, FreeMatch는 Top-1 오차에서 FlexMatch보다 약 1.28%포인트 우수하다.
• FreeMatch는 CIFAR-10/100, SVHN, STL-10, ImageNet 전반에서 기존 SSL 방법에 비해 견고한 개선을 보인다.