[논문 리뷰] FlexMatch: Boosting Semi-Supervised Learning with Curriculum Pseudo Labeling

Bowen Zhang, Yidong Wang외 5명|arXiv (Cornell University)|2021. 10. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 477

한 줄 요약

FlexMatch는 FixMatch와 Curriculum Pseudo Labeling (CPL)을 통합하여 SSL 중 클래스별 임계값을 동적으로 조정하고 추가 매개변수 없이 정확도와 수렴 속도를 높입니다. CPL은 특히 레이블이 적을 때 성능을 개선하며 다른 SSL 방법에도 적용할 수 있습니다.

ABSTRACT

The recently proposed FixMatch achieved state-of-the-art results on most semi-supervised learning (SSL) benchmarks. However, like other modern SSL algorithms, FixMatch uses a pre-defined constant threshold for all classes to select unlabeled data that contribute to the training, thus failing to consider different learning status and learning difficulties of different classes. To address this issue, we propose Curriculum Pseudo Labeling (CPL), a curriculum learning approach to leverage unlabeled data according to the model's learning status. The core of CPL is to flexibly adjust thresholds for different classes at each time step to let pass informative unlabeled data and their pseudo labels. CPL does not introduce additional parameters or computations (forward or backward propagation). We apply CPL to FixMatch and call our improved algorithm FlexMatch. FlexMatch achieves state-of-the-art performance on a variety of SSL benchmarks, with especially strong performances when the labeled data are extremely limited or when the task is challenging. For example, FlexMatch achieves 13.96% and 18.96% error rate reduction over FixMatch on CIFAR-100 and STL-10 datasets respectively, when there are only 4 labels per class. CPL also significantly boosts the convergence speed, e.g., FlexMatch can use only 1/5 training time of FixMatch to achieve even better performance. Furthermore, we show that CPL can be easily adapted to other SSL algorithms and remarkably improve their performances. We open-source our code at https://github.com/TorchSSL/TorchSSL.

연구 동기 및 목표

• FixMatch의 SSL에서 고정된 클래스-무관 임계값이라는 문제를 개선한다.
• CPL를 도입하여 레이블이 없는 데이터를 클래스별 학습 상태에 기반해 활용한다.
• 추가 매개변수나 계산 없이 CPL을 FixMatch에 통합하여 FlexMatch를 개발한다.
• 표준 SSL 벤치마크와 레이블이 적은 시나리오에서 CPL의 효과를 입증한다.

제안 방법

• CPL을 정의하여 unlabeled 샘플 수가 고정 임계값을 초과하는지 여부를 이용해 클래스별 학습 상태를 추정한다.
• 기본 임계값 τ를 정규화된 학습 효과 β_t(c)로 스케일링하여 클래스별 유연한 임계값 T_t(c)를 계산한다.
• 새 매개변수나 순전파/역전파 계산을 추가하지 않고 각 이터레이션에서 임계값을 업데이트한다.
• β_t(c)에 비선형 매핑 M을 적용해 T_t(c)를 얻고, 더 나은 민감도를 위해 볼록 함수를 사용한다.
• 초기 훈련을 안정시키고 확인 편향을 줄이기 위한 임계값 워밍업을 통합한다.
• 동적 임계값으로 SSL 손실을 감독 손실 L_s 와 비감독 손실 L_{u,t}의 조합으로 형식화한다.

실험 결과

연구 질문

• RQ1 고정된 전역 임계값과 비교했을 때 클래스별 시간에 따라 변하는 임계값이 SSL에서 비표시 데이터 활용을 개선할 수 있는가?
• RQ2 지정된 벤치마크에서 CPL이 수렴 속도와 최종 정확도를 개선하는가, 특히 레이블이 매우 제한적일 때?
• RQ3 매개변수 추가 없이 CPL을 FixMatch 및 다른 SSL 알고리즘에 효과적으로 통합할 수 있는가?
• RQ4 임계값 매핑 함수와 워밍업이 성능에 미치는 영향은?
• RQ5 ImageNet과 같은 대규모 및 불균형 데이터셋에서 CPL은 어떻게 작동하는가?

주요 결과

• FlexMatch는 여러 SSL 벤치마크에서 최첨단 결과를 달성하며, 특히 레이블이 매우 제한적인 경우(CIFAR-100에서 클래스당 4개 라벨, STL-10에서 40개 라벨 등).
• FlexMatch는 FixMatch 대비 오답률을 CIFAR-100에서 13.96%, STL-10에서 18.96% 감소시켰다.
• CPL은 수렴 속도를 가속화하여 FlexMatch가 FixMatch의 학습 시간의 1/5 미만에서 경쟁 성능에 도달하도록 한다.
• CPL은 추가 계산 비용 없이 다른 SSL 방법(UDA, Pseudo-Labeling 등)도 향상시킨다.
• ImageNet 실험에서 클래스당 100 라벨의 설정에서 2^20 이터레이션 이후 FlexMatch가 FixMatch를 능가하는 모습을 보여 대규모 데이터셋에 대한 확장성을 시사한다.