[논문 리뷰] SoftMatch: Addressing the Quantity-Quality Trade-off in Semi-supervised Learning

Hao Chen, Ran Tao외 7명|arXiv (Cornell University)|2023. 01. 26.

Domain Adaptation and Few-Shot Learning인용 수 89

한 줄 요약

SoftMatch는 포화된 Gaussian 샘플 가중치와 Uniform Alignment를 도입하여 SSL에서 의사레이블의 양과 질을 모두 높게 유지하고, 비라벨링 데이터를 더 잘 활용하여 학습을 개선한다.

ABSTRACT

The critical challenge of Semi-Supervised Learning (SSL) is how to effectively leverage the limited labeled data and massive unlabeled data to improve the model's generalization performance. In this paper, we first revisit the popular pseudo-labeling methods via a unified sample weighting formulation and demonstrate the inherent quantity-quality trade-off problem of pseudo-labeling with thresholding, which may prohibit learning. To this end, we propose SoftMatch to overcome the trade-off by maintaining both high quantity and high quality of pseudo-labels during training, effectively exploiting the unlabeled data. We derive a truncated Gaussian function to weight samples based on their confidence, which can be viewed as a soft version of the confidence threshold. We further enhance the utilization of weakly-learned classes by proposing a uniform alignment approach. In experiments, SoftMatch shows substantial improvements across a wide variety of benchmarks, including image, text, and imbalanced classification.

연구 동기 및 목표

• unified sample weighting 프레임워크 내에서 SSL의 의사레이블의 양과 질을 형식적으로 정의한다.
• hard-thresholded 의사레이블링이 양과 질의 트레이드오프를 야기하는 한계를 식별한다.
• 질을 유지하면서 의사레이블 활용을 개선하기 위해 adaptive한, truncated Gaussian 가중치를 도입한 SoftMatch를 제안한다.
• Uniform Alignment를 도입해 의사레이블의 클래스 불균형을 해결하고 학습을 안정화한다.
• 이미지, 텍스트, 롱테일 SSL 벤치마크에서 최첨단 또는 경쟁력 있는 결과를 입증한다.

제안 방법

• SSL 무감독 손실을 가중 크로스 엔트로피로 재정의하고 가중치 lambda(p)가 모델의 자신감에 의존한다고 본다.
• 현재 학습 반복의 평균 mu_t와 최대 클래스 자신감의 분산 sigma_t에 기초하여 lambda(p)에 대한 truncated Gaussian 가중치 함수를 도출한다.
• 과거 예측으로부터 EMA를 통해 mu_t와 sigma_t를 추정하고 학습 중 가중치를 적응적으로 조정한다.
• Uniform Alignment를 도입해 예측을 균일한 목표 분포로 정규화하고 정규화된 예측으로부터 샘플별 가중치를 계산한다.
• 가우시안 가중치와 Uniform Alignment를 결합하여 unsupervised 손실에 사용될 최종 lambda(p)를 형성한다.
• 이미지 및 텍스트 작업 전반에 걸친 알고리즘 개요와 실증적 검증을 제공한다.

Figure 4: Sample weighting function visualization

실험 결과

연구 질문

• RQ1 SSL 학습 중 의사레이블의 양과 질의 균형을 맞추기 위해 의사레이블을 어떻게 가중할 수 있는가?
• RQ2 데이터 기반의 적응 가중치 체계가 다양한 도메인에서 고정 또는 임계 기반 의사레이블링보다 더 나은 성능을 보일 수 있는가?
• RQ3 의사레이블 분포를 균일한 클래스 사용으로 맞추는 것이 롱테일 또는 불균형 데이터에서 견고함을 향상시키는가?
• RQ4 과거 예측에서 가중치 매개변수를 업데이트하는 것이 SSL 성능에 미치는 영향은 무엇인가?
• RQ5 SoftMatch가 이미지 및 텍스트 벤치마크에서 최첨단 SSL 방법과 비교해 어떤 성능을 보이는가?

주요 결과

• SoftMatch는 이전 SSL 방법과 비교하여 이미지 및 텍스트 분류 벤치마크에서 강한 향상을 달성한다.
• SoftMatch는 SVHN에서 40 labels로 FixMatch를 1.48% 상회한다.
• SoftMatch는 CIFAR-100에서 400 labels, STL-10에서 40 labels, ImageNet에서 10% labels로 각각 7.73%, 2.84%, 1.33%의 여유로 FlexMatch를 능가한다.
• SoftMatch는 불균형 SSL 설정에서 롱테일 분포에 대한 강건성을 보여 모든 롱테일 구성에서 최적의 테스트 오류를 보였다.
• Uniform Alignment는 클래스 간 의사레이블의 균형을 도와 불균형 SSL 시나리오에서 학습에 이점을 준다.
• Abalation 연구는 Gaussian 기반의 가중치(적응 mu_t, sigma_t) 및 Uniform Alignment가 대안들보다 가장 일관된 이득을 제공함을 시사한다.

(a) FixMatch