[논문 리뷰] DP-SSL: Towards Robust Semi-supervised Learning with A Few Labeled Samples

Yi Xu, Jiandong Ding외 2명|arXiv (Cornell University)|2021. 10. 26.

Machine Learning and Data Classification참고 문헌 56인용 수 16

한 줄 요약

이 논문은 데이터 프로그래밍을 통해 레이블이 없는 데이터에 대해 다각적이고 확률적인 레이블을 자동으로 생성하는 기반으로, 레이블이 매우 적은 경우 성능을 크게 향상시키는 새로운 준지도학습 방법인 DP-SSL을 제안한다. DP-SSL은 자가 생성된 레이블 함수로부터 노이즈가 있는 레이블을 해결하기 위해 새로운 잠재함수와 비지도 정규화 기법을 갖춘 레이블 모델을 활용하여, 단지 40개의 레이블 샘플만으로도 CIFAR-10에서 93.46%의 최고 성능을 달성한다.

ABSTRACT

The scarcity of labeled data is a critical obstacle to deep learning. Semi-supervised learning (SSL) provides a promising way to leverage unlabeled data by pseudo labels. However, when the size of labeled data is very small (say a few labeled samples per class), SSL performs poorly and unstably, possibly due to the low quality of learned pseudo labels. In this paper, we propose a new SSL method called DP-SSL that adopts an innovative data programming (DP) scheme to generate probabilistic labels for unlabeled data. Different from existing DP methods that rely on human experts to provide initial labeling functions (LFs), we develop a multiple-choice learning~(MCL) based approach to automatically generate LFs from scratch in SSL style. With the noisy labels produced by the LFs, we design a label model to resolve the conflict and overlap among the noisy labels, and finally infer probabilistic labels for unlabeled samples. Extensive experiments on four standard SSL benchmarks show that DP-SSL can provide reliable labels for unlabeled data and achieve better classification performance on test sets than existing SSL methods, especially when only a small number of labeled samples are available. Concretely, for CIFAR-10 with only 40 labeled samples, DP-SSL achieves 93.82% annotation accuracy on unlabeled data and 93.46% classification accuracy on test data, which are higher than the SOTA results.

연구 동기 및 목표

• 클래스당 레이블 샘플이 매우 적을 경우 기존 준지도학습(SSL) 방법의 성능 저하와 불안정성을 해결하기 위해.
• 기존 데이터 프로그래밍에서 인간이 제공한 레이블 함수에 의존하는 문제를 해결하기 위해, SSL 환경에서 레이블 함수를 자동으로 생성하여 다양하고 전문화된 레이블 함수를 창출하기 위해.
• 노이즈가 많은 레이블 간의 충돌과 겹침을 해결하고, 강건한 레이블 모델을 통해 레이블이 없는 데이터에 대한 확률적 레이블을 추론하여 레이블 품질을 향상시키기 위해.
• 새로운 정규화 기법과 레이블 모델 설계를 통해 소자원 레이블링 환경에서 모델의 강건성과 일반화 능력을 향상시키기 위해.

제안 방법

• 레이블이 없는 데이터에서 인간이 제공한 규칙 없이도 자동으로 레이블 함수(LFs)를 생성하기 위해 다중 선택 학습(MCL) 프레임워크를 제안하며, 특징 변환을 통해 다양성을 향상시킨다.
• 각 레이블 함수에 기피 옵션을 도입하여 과신을 완화하고 예측의 신뢰도를 향상시킨다.
• 노이즈가 많고 충돌하는 레이블 함수들로부터 확률적 레이블을 추론하기 위해 새로운 잠재함수와 비지도 품질 가이드 정규화 기법을 갖춘 레이블 모델을 설계한다.
• 추론된 확률적 레이블을 약한 지도 신호로 활용하여 최종 분류기 학습을 수행함으로써 강건한 준지도학습을 가능하게 한다.
• 레이블 함수의 전문화도와 다양성을 향상시키기 위해 가중치가 부여된 공간 풀링 기법(특징 변환)을 활용한다.
• 레이블 함수 간의 독립성을 가정하여 학습을 단순화하기 위해, 레이블 함수 품질의 근사치로 조잡한 정확도 추정을 적용한다.

실험 결과

연구 질문

• RQ1 인간이 제공한 규칙 없이도 자동으로 고품질의 레이블 함수를 준지도학습에 적용할 수 있는가?
• RQ2 다양한 레이블 함수들로부터 유도된 확률적 레이블이 소수 샘플 설정에서 하드 편가속 레이블보다 성능을 어떻게 향상시키는가?
• RQ3 제안된 정규화 기법과 레이블 모델 설계가 제한된 지도 신호 하에서 레이블 추론의 강건성과 분산 감소에 얼마나 기여하는가?
• RQ4 클래스당 40개의 레이블 샘플만 존재할 경우, DP-SSL의 성능은 최고 수준의 준지도학습 방법과 비교해 어떻게 되는가?

주요 결과

• CIFAR-10에서 단지 40개의 레이블 샘플만으로 DP-SSL은 레이블이 없는 데이터에 대해 93.82%의 정확도를 달성하여 기존의 준지도학습 방법을 크게 앞서간다.
• 동일한 CIFAR-10 설정에서 DP-SSL은 테스트 분류 정확도 93.46%를 기록하여 새로운 최고 성능 기록을 수립한다.
• 제거 실험을 통해 MCL와 특징 변환을 적용한 구성(Exp3)이 가장 높은 성능(93.82% 정확도)을 기록하며, MCL나 특징 변환 없이 구성한 경우보다 뛰어난 성능을 보였다.
• 정규화 기법은 레이블 데이터가 부족할 경우 특히 강건성을 향상시키며, 성능 변동성을 감소시켜 저자원 설정에서 일관된 성능 향상을 보였다.
• 하이퍼파rameter 분석 결과, 50개의 레이블 함수와 전문화 비율 ρ=0.2에서 최적의 성능를 기록하였으며, 다양한 설정에서도 안정적인 결과를 보였다.
• 레이블 샘플 수가 250에서 40으로 감소할 경우 DP-SSL은 오류율 증가가 단지 1.76%에 그치지만, 기존 방법들은 오류율 증가가 급격히 상승(최대 36.49%)하는 것으로 나타났다.