[논문 리뷰] Temporal Ensembling for Semi-Supervised Learning

Samuli Laine, Timo Aila|arXiv (Cornell University)|2016. 10. 07.

Advanced Neural Network Applications참고 문헌 30인용 수 1,496

한 줄 요약

논문은 에포크와 증강 across 앙상블을 활용하는 self-ensembling 방법(Pi-model 및 temporal ensembling)을 도입하여 라벨이 없는 데이터의 타깃으로 앙상블 예측을 사용하는 동시에, 준지도 학습에서 최첨단 결과를 달성한다.

ABSTRACT

In this paper, we present a simple and efficient method for training deep neural networks in a semi-supervised setting where only a small portion of training data is labeled. We introduce self-ensembling, where we form a consensus prediction of the unknown labels using the outputs of the network-in-training on different epochs, and most importantly, under different regularization and input augmentation conditions. This ensemble prediction can be expected to be a better predictor for the unknown labels than the output of the network at the most recent training epoch, and can thus be used as a target for training. Using our method, we set new records for two standard semi-supervised learning benchmarks, reducing the (non-augmented) classification error rate from 18.44% to 7.05% in SVHN with 500 labels and from 18.63% to 16.55% in CIFAR-10 with 4000 labels, and further to 5.12% and 12.16% by enabling the standard augmentations. We additionally obtain a clear improvement in CIFAR-100 classification accuracy by using random images from the Tiny Images dataset as unlabeled extra inputs during training. Finally, we demonstrate good tolerance to incorrect labels.

연구 동기 및 목표

• 데이터의 일부만 라벨이 있는 상태에서의 준지도 학습을 동기 부여한다.
• 드롭아웃과 입력 증강을 활용하여 unlabeled data에 대한 신뢰할 만한 타깃을 생성하는 self-ensembling 접근법을 제안한다.
• 표준 벤치마크(SVHN, CIFAR-10)에서 기존 방법들보다 향상된 분류 정확도를 시연한다.
• 레이블 노이즈에 대한 내성과 완전 지도 학습 설정에서의 잠재적 이득을 보여준다.
• 실용적 고려사항 및 관련 준지도 아키텍처와의 연관성을 논의한다.

제안 방법

• 제안된 두 가지 self-ensembling 구현은 Pi-model과 temporal ensembling이다.
• Pi-model은 서로 다른 dropout 및 증강 아래 같은 입력의 두 출력 간의 일관성을 강제한다.
• Temporal ensembling은 여러 이전 에포크에 걸친 예측을 집계하여 unlabeled data의 안정적인 타깃을 형성한다.
• 비지도 손실은 전체 출력 벡터에 대해 평균 제곱 오차를 사용하여 현재 예측을 앙상블 타깃과 비교하고, ramped weight w(t)로 스케일링한다.
• 드롭아웃 기반 정규화와 입력 증강은 의미 있는 앙상블 타깃을 얻기 위해 필수적이다.
• Temporal ensembling은 동작(momentum)으로 앙상블 예측 Z를 업데이트하고 편향 보정을 적용하여 타깃 tilde{z}를 형성한다.

실험 결과

연구 질문

• RQ1 레이블이 부족할 때 다중 에포크와 증강을 통한 self-ensembling이 준지도 학습을 향상시킬 수 있는가?
• RQ2 Pi-model과 temporal ensembling은 정확도와 훈련 효율성 면에서 어떻게 비교되는가?
• RQ3 드롭아웃, 증강 및 비지도 손실의 램프 업(ramp-up)의 역할은 퇴화된 해를 피하는 데 어떤가?
• RQ4 이 방법들이 완전 지도 설정으로 확장되거나 노이즈 라벨을 견딜 수 있는가?

주요 결과

• Pi-model과 temporal ensembling은 SVHN과 CIFAR-10 벤치마크에서 이전의 준지도 방법들을 능가한다.
• SVHN에서 500 라벨로 비증강 설정에서 오차가 18.44%에서 7.05%로 감소한다.
• CIFAR-10에서 4000 라벨로 비증강 설정에서 오차가 18.63%에서 16.55%로 감소한다.
• 표준 증강을 활성화하면 오류율이 추가로 SVHN에서 5.12%, CIFAR-10에서 12.16%로 감소한다.
• Temporal ensembling은 더 빠른 학습을 제공하고 비슷한 에포크 수를 가정할 때 Pi-model보다 더 나은 결과를 낼 수 있다.
• 이 방법들은 잘못된 라벨에 대한 내성을 보이고 ladder networks 및 bootstrapping 같은 기존의 준지도 프레임워크와 관련이 있다.