[논문 리뷰] MutexMatch: Semi-Supervised Learning with Mutex-Based Consistency Regularization

Yue Duan, Zhen Zhao외 5명|arXiv (Cornell University)|2022. 03. 27.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

MutexMatch는 '무엇이 아닌지'를 예측하는 진위부정분류기(TNC)를 통해 저신뢰도 미라벨링 샘플을 활용하는 새로운 준지도학습 프레임워크를 제안한다. 이는 보완적 가짜라벨에 대한 일致성 정규화를 통해 가짜라벨링 오류를 줄이고 표현 학습을 향상시킨다. CIFAR-10에서 라벨이 20개 뿐인 조건에서도 92.23%의 정확도를 달성한다.

ABSTRACT

The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.

연구 동기 및 목표

• 낮은 신뢰도를 가진 미라벨링 샘플이 높은 오류 위험으로 인해 자주 기각되는 문제를 해결한다.
• 기존 방법이 높은 신뢰도의 가짜라벨에만 집중함으로써 미라벨링 데이터가 낭비되는 한계를 극복한다.
• 다른 클래스들과의 이질성에서 학습함으로써 낮은 신뢰도 샘플을 정보성으로 간주하는 새로운 패러다임을 개발한다.
• 동일 샘플의 다양한 증강된 시각에서 이질성 예측의 일致성을 강제함으로써 모델의 일반화 및 강인성을 향상시킨다.
• 특히 저샷 설정에서 뛰어난 성능을 입증함으로써, 낮은 신뢰도 샘플을 포함한 모든 미라벨링 데이터를 효과적으로 활용한다.

제안 방법

• 진위긍정분류기(TPC)와 진위부정분류기(TNC)를 도입한다. TPC는 '무엇인지'를 예측하고, TNC는 '무엇이 아닌지'를 예측한다.
• 약한 증강된 시각을 사용해 TPC에 대해 하드 가짜라벨을 생성하고, TPC 출력의 부정을 정규화하여 TNC에 대한 소프트 보완 가짜라벨을 생성한다.
• TNC에 대해 약한 증강 및 강한 증강된 시각에서의 예측 간 교차엔트로피를 최소화함으로써 일치성 정규화를 적용한다.
• 일치성 정규화 적용 이전에 TNC를 하드 보완 라벨을 사용해 별도로 훈련하여 강인성을 향상시킨다.
• 지도학습 손실, TPC 가짜라벨링 손실, TNC 일치성 손실을 통합된 훈련 목표로 조합한다.
• 강한 데이터 증강에 RandAugment를 사용하고, 신뢰도 임계값 τ를 설정하여 고신뢰도 및 저신뢰도 샘플을 분리한다.

실험 결과

연구 질문

• RQ1 낮은 신뢰도의 미라벨링 샘플이 높은 오류 위험 없이 준지도학습에서 효과적으로 활용될 수 있는가?
• RQ2 이질성 정도(즉, '무엇이 아닌지')에 대한 일치성을 강제하면 낮은 신뢰도 샘플의 표현 학습이 향상되는가?
• RQ3 별도의 진위부정분류기(TNC)가 거짓음성 확률을 줄임으로써 TPC 예측의 신뢰성을 향상시킬 수 있는가?
• RQ4 저라벨 환경에서 기존의 표준 일치성 정규화와 비교해, TNC 기반의 일치성 정규화는 정확도와 강인성 측면에서 더 우수한가?
• RQ5 TNC 일치성 정규화에 소프트 보완 가짜라벨을 사용하면 하드 라벨 대비 더 나은 일반화 성능을 낼 수 있는가?

주요 결과

• MutexMatch는 CIFAR-10에서 40개의 라벨을 사용할 때 93.22%의 정확도를 달성하여, 아블레이션 변형 및 기준 모델 FixMatch를 능가한다.
• 라벨이 20개 뿐인 조건에서도 MutexMatch는 CIFAR-10에서 92.23%의 정확도를 기록하여 저샷 준지도학습에서 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, TNC 사전학습에 하드 라벨을, 일치성 정규화에 소프트 라벨을 사용할 경우 최고의 성능을 내는 것으로 나타났다 (Rev-Norm 설정).
• TNC에 대한 일치성 정규화는 TPC 예측의 거짓음성 확률을 감소시켜, 정확한 클래스에 대한 진짜긍정 확률을 높였다.
• 모델은 모든 클래스에서 정답 구성 요소의 평균 신뢰도가 높아짐으로써 강인성과 표현 품질 향상을 보였다.
• 모델는 낮은 신뢰도 샘플의 이질성 일치성을 활용함으로써, 고신뢰도 가짜라벨에만 의존하는 것에서 벗어나 효과적으로 모든 미라벨링 데이터를 활용했다.