[논문 리뷰] SimPLE: Similar Pseudo Label Exploitation for Semi-Supervised Classification

Zijian Hu, Zhengyu Yang외 2명|arXiv (Cornell University)|2021. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 159

한 줄 요약

이 논문은 유사한 비라벨 데이터 간의 고신뢰도 가짜 라벨 간의 통계적 거리를 최소화하는 새로운 쌍 손실(pair loss)을 도입함으로써 분류 정확도를 향상시키는 반감독 학습 방법인 SimPLE를 제안한다. 이 손실을 MixMatch 방식의 일致성 정규화와 조합함으로써 SimPLE는 CIFAR-10, SVHN, CIFAR-100, Mini-ImageNet에서 최신 기준(SOTA) 또는 최신 기준에 가까운 성능을 달성하며, ImageNet- 또는 DomainNet-Real-사전학습 모델을 사용하는 전이학습 설정에서 이전 방법들을 크게 능가한다.

ABSTRACT

A common classification task situation is where one has a large amount of data available for training, but only a small portion is annotated with class labels. The goal of semi-supervised training, in this context, is to improve classification accuracy by leverage information not only from labeled data but also from a large amount of unlabeled data. Recent works have developed significant improvements by exploring the consistency constrain between differently augmented labeled and unlabeled data. Following this path, we propose a novel unsupervised objective that focuses on the less studied relationship between the high confidence unlabeled data that are similar to each other. The new proposed Pair Loss minimizes the statistical distance between high confidence pseudo labels with similarity above a certain threshold. Combining the Pair Loss with the techniques developed by the MixMatch family, our proposed SimPLE algorithm shows significant performance gains over previous algorithms on CIFAR-100 and Mini-ImageNet, and is on par with the state-of-the-art methods on CIFAR-10 and SVHN. Furthermore, SimPLE also outperforms the state-of-the-art methods in the transfer learning setting, where models are initialized by the weights pre-trained on ImageNet or DomainNet-Real. The code is available at github.com/zijian-hu/SimPLE.

연구 동기 및 목표

• 유사하고 고신뢰도 가짜 라벨을 가진 비라벨 샘플 간의 관계를 활용하여 반감독 학습 성능을 향상시키기 위해.
• 증강된 시각 간의 일치성 또는 라벨이 있는 데이터에서 비라벨 데이터로의 라벨 전파 외에 비라벨 샘플 간의 관계를 고려하지 않은 영역을 해결하기 위해.
• 유사하고 고신뢰도인 비라벨 예측 간의 일관성을 장려함으로써 모델 일반화 능력을 향상시키는 새로운 무 supervision 손실 항목을 개발하기 위해.
• 제안된 방법의 효과성을 표준 벤치마크 및 사전학습 모델을 사용하는 실제 전이학습 시나리오에서 평가하기 위해.

제안 방법

• 동일한 비라벨 샘플의 여러 약한 증강된 시각의 예측을 평균화하고 날카롭게 조정하여 가짜 라벨을 생성한다.
• 약한 증강을 사용한 라벨이 있는 데이터에 대해 감독형 교차 엔트로피 손실을 적용한다.
• 강한 증강된 비라벨 예측을 그들의 가짜 라벨과 일치시키기 위해 무 supervision L2 거리 손실을 사용하여 증강 간의 일관성을 강제한다.
• 유사하고 높은 신뢰도를 가진 비라벨 샘플의 예측 간 통계적 거리를 최소화하기 위해 유사성 임계값과 신뢰도 임계값을 사용하는 새로운 쌍 손실(pair loss)을 도입한다.
• 감독 손실, 무 supervision 일관성 손실, 그리고 새로운 쌍 손실을 조합한 전체 학습 목표를 설정하며, 강인성을 확보하기 위해 하이퍼파rameter를 조정한다.
• 기존의 SSL 기법인 MixMatch, ReMixMatch, FixMatch와 호환되며, ResNet 및 Wide ResNet 백본을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 유사한 비라벨 샘플의 고신뢰도 가짜 라벨 간의 일관성 향상이 반감독 학습에서 더 나은 일반화로 이어질 수 있는가?
• RQ2 기존의 일관성 정규화 및 가짜 라벨 전략에 비해 제안된 쌍 손실의 성능 및 강인성은 어떻게 비교되는가?
• RQ3 ImageNet 또는 DomainNet-Real 모델에서 사전학습된 모델을 초기화했을 때 SimPLE 프레임워크는 전이학습 시나리오에서 성능을 유지하거나 향상시키는가?
• RQ4 신뢰도 및 유사성 임계값과 같은 하이퍼파rameter 선택에 대해 쌍 손실의 민감도는 어떠한가?
• RQ5 이 방법은 Mini-ImageNet과 같은 더 복잡한 데이터셋으로 효과적으로 확장될 수 있는가?

주요 결과

• 10,000개의 라벨이 있는 CIFAR-100에서 SimPLE는 73.04%의 top-1 정확도를 달성하여 쌍 손실이 없는 기준 모델(69.07%)을 크게 능가하고 이전 최신 기준(SOTA) 방법을 초월한다.
• Mini-ImageNet에서 SimPLE는 ResNet-18 및 WRN-28-2를 포함한 다양한 백본에서 최신 기준 성능을 달성하며, 복잡한 데이터셋으로의 확장성에 강점을 보인다.
• ImageNet-1K에서 DomainNet-Real로의 전이학습에서 SimPLE는 3,795개의 라벨로 50.90%의 정확도를 기록하여 감독 기반 기준 모델(42.91%)과 MixMatch(35.34%)를 8个百分点 이상 앞서며 뛰어난 성능을 보였다.
• 사전학습 모델을 사용할 경우 SimPLE는 초기 학습에서 5배에서 100배 빠르게 수렴하며, 실제 환경에서 강력한 실용적 효율성을 보였다.
• 제거 실험(ablation study) 결과 쌍 손실은 신뢰도 및 유사성 임계값의 변화에 강인하며, 더 다양한 증강 기법과 증강 수가 많을수록 성능 향상이 뚜렷하다.
• RandAugment를 제거해도 성능이 유지되는 것으로 나타나, 쌍 손실이 증강 정책과 독립적으로 효과적이라는 점을 확인했다.