[논문 리뷰] Negative sampling in semi-supervised learning

John Chen, Vatsal Shah외 1명|arXiv (Cornell University)|2019. 11. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 5

한 줄 요약

이 논문은 기존의 SSL 알고리즘에 음성 샘플링 손실을 추가함으로써 성능을 향상시키는 단순하고 빠르며 쉽게 튜닝할 수 있는 준지도학습 방법인 NS³L을 소개한다. 비라벨 데이터를 활용해 낮은 확률을 가진 클래스를 대비하여 대조적으로 처벌함으로써, CIFAR10, CIFAR100, SVHN, STL10에서 성능을 향상시키며, 최소한의 초모수 튜닝으로도 기존의 바닐라 VAT와 MixMatch를 능가한다.

ABSTRACT

We introduce Negative Sampling in Semi-Supervised Learning (NS3L), a simple, fast, easy to tune algorithm for semi-supervised learning (SSL). NS3L is motivated by the success of negative sampling/contrastive estimation. We demonstrate that adding the NS3L loss to state-of-the-art SSL algorithms, such as the Virtual Adversarial Training (VAT), significantly improves upon vanilla VAT and its variant, VAT with Entropy Minimization. By adding the NS3L loss to MixMatch, the current state-of-the-art approach on semi-supervised tasks, we observe significant improvements over vanilla MixMatch. We conduct extensive experiments on the CIFAR10, CIFAR100, SVHN and STL10 benchmark datasets.

연구 동기 및 목표

• 비라벨 데이터를 활용하여 성능을 향상시키는 단순하고 빠르며 쉽게 튜닝할 수 있는 준지도학습 방법을 개발하는 것.
• 딥러닝에서의 라벨링 비용이 높은 문제를 해결하기 위해 복잡한 모델 수정 없이 비라벨 데이터를 효과적으로 활용하는 것.
• 음성 샘플링 손실을 추가함으로써 최신의 SSL 알고리즘인 VAT와 MixMatch의 성능을 크게 향상시킬 수 있음을 보여주는 것.
• 제한된 초모수 튜닝으로도 높은 성능를 유지하면서 해석 가능하고 강건한 방법을 제공하는 것.

제안 방법

• NS³L은 비라벨 데이터에 대해 모델이 예측한 낮은 확률 클래스를 처벌하는 새로운 손실 함수를 도입한다.
• 각 비라벨 샘플에 대해, 모델의 출력 확률은 초모수 T를 사용해 임계값을 설정하고, 확률이 T 이하인 클래스는 음성 샘플로 간주한다.
• NS³L 손실은 이러한 낮은 확률 클래스의 음성 로그우도로 계산되며, 이는 모델이 정확한 클래스에 더 높은 신뢰도를 부여하도록 유도한다.
• NS³L 손실은 기존의 SSL 목표 함수인 교차 엔트로피, VAT, 또는 MixMatch 손실과 결합되어 공동 최적화 목표로 사용된다.
• 이 방법은 모듈식으로 설계되어 기존의 모든 SSL 프레임워크에 최소한의 계산 오버헤드로 쉽게 통합될 수 있다.
• 초모수로는 음성 클래스를 선택하는 데 사용되는 임계값 T와 다른 손실들에 비해 NS³L 손실의 가중치를 조절하는 λ₁이 있다.

실험 결과

연구 질문

• RQ1 음성 샘플링에 기반한 단순하고 모듈식인 손실 함수가 준지도학습 성능 향상에 기여할 수 있는가?
• RQ2 VAT와 MixMatch와 같은 최신의 준지도학습 방법과 결합했을 때 NS³L의 성능는 어떠한가?
• RQ3 NS³L은 다양한 데이터셋과 설정에서 초모수 T와 λ₁에 대해 얼마나 민감한가?
• RQ4 NS³L은 CIFAR10, CIFAR100, SVHN, STL10와 같은 다양한 벤치마크에서 일관된 성능 향상을 제공하는가?

주요 결과

• 10,000개의 라벨 데이터를 가진 CIFAR100에서, VAT에 NS³L을 추가하면 Pseudo-Labeling과 Entropy Minimization보다 테스트 오차가 0.6% 향상된다.
• 4,000개의 라벨 데이터를 가진 CIFAR10에서, VAT와 결합한 NS³L은 테스트 오차를 3.38% ± 0.08로 줄여 바닐라 VAT와 MixMatch를 능가한다.
• 250개의 라벨 데이터를 가진 SVHN에서, MixMatch + NS³L은 테스트 오차 3.38% ± 0.08을 기록하여 MixMatch의 3.75% ± 0.09보다 향상되었다.
• 1,000개의 라벨 데이터를 가진 STL10에서, MixMatch + NS³L은 테스트 오차를 21.74% ± 0.33로 줄였고, MixMatch의 22.20% ± 0.89보다 우수하다.
• 10개 클래스를 가진 데이터셋에서 최적의 임계값 T ≈ 0.04는 경험적으로 안정적이며, T의 변화에 대해 강건함을 보였다.
• NS³L는 계산적으로 효율적이며, NS³L 전용으로 실행할 경우 VAT보다 2배 이상 빠르게 동작한다. 이는 정방향/역방향 전파 횟수가 감소하기 때문이다.