[논문 리뷰] Realistic Evaluation of Deep Semi-Supervised Learning Algorithms

Avital Oliver, Augustus Odena외 3명|arXiv (Cornell University)|2018. 04. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 50인용 수 209

한 줄 요약

요약: 이 논문은 딥 SSL 방법들의 통합 재구현 및 현실적인 평가를 제공하여, 공정한 튜닝 하에서 강력한 감독 기반 기준선 대비 이득이 더 작아짐을 보여주고, 전이 학습 및 분포 불일치 효과를 강조한다.

ABSTRACT

Semi-supervised learning (SSL) provides a powerful framework for leveraging unlabeled data when labels are limited or expensive to obtain. SSL algorithms based on deep neural networks have recently proven successful on standard benchmark tasks. However, we argue that these benchmarks fail to address many issues that these algorithms would face in real-world applications. After creating a unified reimplementation of various widely-used SSL techniques, we test them in a suite of experiments designed to address these issues. We find that the performance of simple baselines which do not use unlabeled data is often underreported, that SSL methods differ in sensitivity to the amount of labeled and unlabeled data, and that performance can degrade substantially when the unlabeled dataset contains out-of-class examples. To help guide SSL research towards real-world applicability, we make our unified reimplemention and evaluation platform publicly available.

연구 동기 및 목표

• 딥 SSL 방법의 실제 세계 적용 가능성을 표준 벤치마크를 넘어서 평가한다.
• 공정한 비교를 가능하게 하는 통합되고 재현 가능한 재구현을 제공한다.
• SSL 성능에 영향을 주는 요인: 라벨링/비라벨 데이터 양, 클래스 분포 불일치, 그리고 전이 학습을 조사한다.
• 현실적인 조건에서 SSL이 고품질 감독 베이스라인을 일관되게 능가하는지 평가한다.
• 실무에서 SSL 방법을 평가하기 위한 구체적인 권고안을 제시한다.

제안 방법

• SSL 방법들을 공정하게 비교하기 위한 통합 Wide ResNet (WRN-28-2) 및 학습 설정을 만든다.
• 각 방법에 대해 하이퍼파라미터 최적화(방법당 1000 트라이얼) 후, 방법 간에 통합된 핸드-튜닝 하이퍼파라미터를 적용한다.
• 표준 비라벨 풀을 갖춘 CIFAR-10(레이블 4000) 및 SVHN(레이블 1000)에서 평가한다.
• Pi-Model, Mean Teacher, Virtual Adversarial Training (VAT), VAT+EntMin, 및 Pseudo-Labeling을 구현하고 비교한다.
• 동일한 모델을 사용한 완전 지도 학습 및 CIFAR-10으로의 ImageNet에서의 전이 학습을 포함한 기준선을 포함한다.
• 비라벨 데이터의 품질(분포 불일치) 및 데이터 양의 효과를 체계적으로 연구한다.

실험 결과

연구 질문

• RQ1 공통 모델 및 학습 절차에서 SSL 방법의 성능은 어떠한가?
• RQ2 현실적인 하이퍼파라미터 튜닝과 기준선 하에서 SSL 이득이 감독 기반 대비 지속되는가?
• RQ3 비라벨 데이터의 분포(도메인 내부 대 외부)가 SSL 성능에 어떤 영향을 미치는가?
• RQ4 라벨링/비라벨 데이터 양의 변화가 SSL 효과에 미치는 영향은 어떠한가?
• RQ5 대규모 레이블링 데이터에서의 전이 학습이 이러한 설정에서 SSL을 능가할 수 있는가?

주요 결과

데이터셋	# 라벨	Supervised	Pi-Model	Mean Teacher	VAT	VAT + EntMin	Pseudo-Label
CIFAR-10	4000	20.26 ± .38%	16.37 ± .63%	15.87 ± .28%	13.86 ± .27%	13.13 ± .39%	17.78 ± .57%
SVHN	1000	12.83 ± .47%	7.19 ± .27%	5.65 ± .47%	5.63 ± .20%	5.35 ± .19%	7.62 ± .29%

• 통합 모델과 광범위한 하이퍼파라미터 튜닝을 사용할 때 SSL 이득은 강력한 감독 베이스라인에 비해 작다.
• 4000 라벨이 있는 CIFAR-10에서 최고의 SSL 방법(VAT + EntMin)은 13.13%의 테스트 오차를 달성했으며, 감독은 20.26%였다.
• 1000 라벨이 있는 SVHN에서 VAT은 5.63%의 테스트 오차를 달성했고, 감독은 12.83%였다.
• ImageNet에서 CIFAR-10으로의 전이 학습은 12.09%의 테스트 오차를 달성했고, 본 연구의 모든 SSL 방법을 능가했다.
• 다른 클래스 분포에서의 비라벨 데이터는 비라벨 데이터를 사용하지 않는 경우에 비해 성능을 해칠 수 있다.
• SSL 방법의 성능은 라벨링 및 비라벨 데이터 양에 따라 크게 달라지며, SVHN에서 약 8만 비라벨 샘플을 넘으면 이득이 완만해진다.