[논문 리뷰] InstanT: Semi-supervised Learning with Instance-dependent Thresholds

Muyang Li, Runze Wu외 5명|arXiv (Cornell University)|2023. 10. 29.

Machine Learning and Data Classification인용 수 5

한 줄 요약

InstanT는 각 샘플의 개별 모호성과 예측 오류율을 바탕으로 비라벨 데이터에 대해 개별적 신뢰도 임계값을 할당하는 새로운 준지도학습 방법을 제안한다. 이는 올바른 가짜 레이블 할당의 확률을 유한하게 유지함으로써 성능을 보장한다. 이 방법은 임계값을 동적으로 조정하여 노이즈를 줄이면서도 높은 효율성을 유지함으로써 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semi-supervised learning (SSL) has been a fundamental challenge in machine learning for decades. The primary family of SSL algorithms, known as pseudo-labeling, involves assigning pseudo-labels to confident unlabeled instances and incorporating them into the training set. Therefore, the selection criteria of confident instances are crucial to the success of SSL. Recently, there has been growing interest in the development of SSL methods that use dynamic or adaptive thresholds. Yet, these methods typically apply the same threshold to all samples, or use class-dependent thresholds for instances belonging to a certain class, while neglecting instance-level information. In this paper, we propose the study of instance-dependent thresholds, which has the highest degree of freedom compared with existing methods. Specifically, we devise a novel instance-dependent threshold function for all unlabeled instances by utilizing their instance-level ambiguity and the instance-dependent error rates of pseudo-labels, so instances that are more likely to have incorrect pseudo-labels will have higher thresholds. Furthermore, we demonstrate that our instance-dependent threshold function provides a bounded probabilistic guarantee for the correctness of the pseudo-labels it assigns.

연구 동기 및 목표

• 가짜 레이블링에서 균일하거나 클래스 기반 임계값의 한계를 해결하기 위해 개별 샘플 수준의 적응성을 도입하기 위해.
• 개별 샘플 기반의 레이블 노이즈와 예측 모호성을 모델링하여 임계값 선택을 안내하기 위해.
• 할당된 가짜 레이블의 정확성 확률에 대한 이론적 하한을 제공하기 위해.
• 더 나은 일반화를 위해 가짜 레이블 샘플의 수와 품질의 균형을 향상시키기 위해.

제안 방법

• 이 방법은 예측 오류율이 높고 클래스 사후 확률의 모호성이 더 큰 샘플일수록 증가하는 개별 샘플 기반 임계값 함수를 정의한다.
• 라벨이 부여된 데이터를 기반으로 훈련된 전이 행렬 추정기로 개별 샘플의 레이블 노이즈를 추정한다.
• 임계값 함수는 예측된 청소된 클래스 사후 확률과 각 샘플의 추정 오류율에서 유도된다.
• 표준 준지도학습 훈련에 통합되어 각 반복 단계에서 높은 신뢰도를 가진 가짜 레이블 샘플을 선택하기 위해 동적 임계값을 적용한다.
• 재훈련의 부담을 피함으로써 계산 효율성을 유지하며, FixMatch와 AdaMatch에 비해 최소한의 오버헤드를 유발한다.
• 이론적 분석을 통해 가짜 레이블 할당의 정확성 확률이 하한이 있으며, 훈련이 진행됨에 따라 점차 1에 수렴함을 증명한다.

Figure 1: Illustration on the differences between uniform thresholds, class-dependent thresholds, and instance-dependent thresholds in SSL. The black solid lines are the decision boundaries generated by the classifier, and the colored dashed lines are the confidence thresholds, the colored square, t

실험 결과

연구 질문

• RQ1 균일하거나 클래스 기반 임계값에 비해 개별 샘플 기반 임계값이 가짜 레이블의 신뢰도를 향상시킬 수 있는가?
• RQ2 개별 샘플 기반 임계값을 사용할 경우 가짜 레이블의 정확성에 대한 이론적 보장은 무엇인가?
• RQ3 제안된 방법은 가짜 레이블 샘플의 수와 품질 사이의 트레이드오프를 어떻게 균형 잡는가?
• RQ4 표준 벤치마크에서 뛰어난 성능을 달성하면서도 높은 효율성을 유지하는가?

주요 결과

• STL-10에서 40개의 라벨이 부여된 샘플로 InstanT는 85.09%의 top-1 정확도를 기록하여 AdaMatch(83.50%)와 FixMatch(77.72%)를 모두 초월한다.
• CIFAR-100에서 400개의 라벨이 부여된 샘플로 InstanT는 더 낮은 비라벨 샘플 활용도에도 불구하고 후기 훈련 단계에서 FreeMatch를 능가한다.
• 제거 실험 결과, 단지 개별 샘플 기반 임계값만 추가해도 FixMatch 대비 2.2% 향상됨을 확인하여 그 효과를 입증한다.
• InstanT는 FreeMatch보다 더 적은 노이즈가 포함된 샘플을 사용하면서도 높은 가짜 레이블 정확도(DA 적용 시 82.97%, DA와 RT 모두 적용 시 85.09%)를 유지한다.
• 이 방법은 계산 오버헤드가 극히 적으며, FixMatch와 AdaMatch와 유사한 훈련 시간을 기록한다.
• 이론적 보장은 가짜 레이블 할당의 정확성 확률이 渐진적으로 1에 수렴함을 보장하여 신뢰성 확보를 가능하게 한다.

Figure 2: Overview of InstanT. Left: training process of transition matrix estimator $\hat{f}_{\theta^{{}^{\prime}}}$ . For a labeled instance $\bm{x_{l}}$ , whose label is 2 , the classifier $\hat{f}_{\theta}$ will first generate its noisy class posterior. Then, we want the second row of the transi