[논문 리뷰] On Pseudo-Labeling for Class-Mismatch Semi-Supervised Learning

Lu Han, Han-Jia Ye외 1명|arXiv (Cornell University)|2023. 01. 15.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 $Σ$-Model을 제안하며, 클래스 불일치가 있는 반감독 학습에서 Pseudo-Labeling(PL)을 향상시키기 위한 이중 브랜치 아키텍처를 제공한다. 이는 고신뢰도 의사 레이블의 재균형 조정을 통해 OOD 데이터를 걸러내고, 저신뢰도 OOD 데이터에 대한 의미적 클러스터링을 수행함으로써 성능을 향상시킨다. 다양한 OOD 비율에서 여러 벤치마크에서 지도 학습 기반 모델과 최신 기법들보다 일관된 성능 향상을 달성한다.

ABSTRACT

When there are unlabeled Out-Of-Distribution (OOD) data from other classes, Semi-Supervised Learning (SSL) methods suffer from severe performance degradation and even get worse than merely training on labeled data. In this paper, we empirically analyze Pseudo-Labeling (PL) in class-mismatched SSL. PL is a simple and representative SSL method that transforms SSL problems into supervised learning by creating pseudo-labels for unlabeled data according to the model's prediction. We aim to answer two main questions: (1) How do OOD data influence PL? (2) What is the proper usage of OOD data with PL? First, we show that the major problem of PL is imbalanced pseudo-labels on OOD data. Second, we find that OOD data can help classify In-Distribution (ID) data given their OOD ground truth labels. Based on the findings, we propose to improve PL in class-mismatched SSL with two components -- Re-balanced Pseudo-Labeling (RPL) and Semantic Exploration Clustering (SEC). RPL re-balances pseudo-labels of high-confidence data, which simultaneously filters out OOD data and addresses the imbalance problem. SEC uses balanced clustering on low-confidence data to create pseudo-labels on extra classes, simulating the process of training with ground truth. Experiments show that our method achieves steady improvement over supervised baseline and state-of-the-art performance under all class mismatch ratios on different benchmarks.

연구 동기 및 목표

• 반감독 학습에서 외부 분포(OOD) 데이터가 의사 레이블링(PL) 성능에 어떻게 악영향을 미치는지 조사한다.
• 비정상 클래스에서의 미학습 데이터에 OOD 데이터가 포함되어 있을 때 의사 레이블을 어떻게 할당할지 최적의 방법을 규명한다.
• 미학습 데이터에 알려지지 않은 클래스의 OOD 샘플이 포함되어 있을 때도 성능을 유지하거나 향상시킬 수 있는 강건한 방법을 개발한다.
• OOD 데이터에 대한 의사 레이블의 불균형을 해결하고, 그 의미적 구조를 활용하여 더 나은 일반화 성능을 달성한다.

제안 방법

• Σ$-Model은 고신뢰도 샘플과 저신뢰도 샘플을 각각 처리하는 이중 브랜치 아키텍처를 사용한다.
• 재균형 의사 레이블링(RPL)은 각 클래스의 최소 개수로 조정하여 고신뢰도 데이터의 의사 레이블을 재균형 조정함으로써 OOD 데이터를 걸러내고 레이블 불균형을 완화한다.
• 의미적 탐색 클러스터링(SEC)은 저신뢰도 데이터에 대해 균형 잡힌 클러스터링을 적용하여 추가 클래스에 대한 의사 레이블을 생성함으로써 진정한 지도 학습과 유사한 학습을 시뮬레이션한다.
• SEC는 OOD 데이터의 의미적 구조를 탐색하여 OOD 클래스의 정체성을 가정하지 않고도 유의미한 의사 레이블을 생성한다.
• 모델은 ID 및 OOD 데이터에 대해 별도의 분류기들을 사용하여 간섭 없이 독립적으로 학습할 수 있다.
• 이 방법은 OOD 데이터의 불균형 분포에 대해 강건하며, OOD 클래스의 수에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 OOD 데이터는 반감독 학습에서 의사 레이블링(PL) 성능에 어떻게 영향을 미치는가?
• RQ2 OOD 데이터가 존재할 경우 PL이 왜 악화되는가? 이 악화의 원인은 무엇인가?
• RQ3 PL 기반 반감독 학습에서 OOD 데이터에 대한 의사 레이블 할당에 최적의 전략은 무엇인가?
• RQ4 OOD 데이터의 의미적 클러스터링은 클래스 불일치 설정에서 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ5 클러스터링에 사용된 추가 클래스의 수가 성능에 미치는 영향은 무엇인가?

주요 결과

• 클래스 불일치 상황에서 의사 레이블링은 OOD 데이터에 대한 의사 레이블의 불균형으로 인해 심각하게 악화되며, 이는 학습 신호를 지배한다.
• 고신뢰도 샘플의 의사 레이블 재균형 조정은 OOD 데이터를 걸러내고 성능 저하를 방지하며, 표준 재가중 기반 방법보다 우수한 성능을 보인다.
• 저신뢰도 OOD 데이터를 추가 클래스로 의미적 클러스터링하면 성능 향상이 이루어지며, 추가 클래스 수가 실제 OOD 클래스 수와 일치할 경우 최적의 성능을 달성한다.
• $Σ$-Model은 CIFAR-10과 SVHN에서 모든 클래스 불일치 비율에서 최신 기법을 능가하는 성능을 기록하며, 지도 학습 기반 모델 대비 최대 5.2%의 성능 향상을 달성한다.
• OOD 데이터가 불균형하더라도 이 방법은 효과적이며, 실제 데이터 분포에 대한 강건성을 입증한다.
• 엔트로피와 점수 차이와 같은 불확실성 측정법은 $Σ$-Model과 효과적으로 조합될 수 있으나, RPL는 재가중 기반 접근보다 더 안정적인 성능을 보인다.