[논문 리뷰] Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results

Antti Tarvainen, Harri Valpola|arXiv (Cornell University)|2017. 03. 06.

Advanced Neural Network Applications참고 문헌 28인용 수 2,517

한 줄 요약

Mean Teacher는 모델 가중치를 평균화하여 일관성 학습을 위한 더 나은 교사를 만들고, Temporal Ensembling보다 반지도 학습의 성능 및 확장성을 개선한다.

ABSTRACT

The recently proposed Temporal Ensembling has achieved state-of-the-art results in several semi-supervised learning benchmarks. It maintains an exponential moving average of label predictions on each training example, and penalizes predictions that are inconsistent with this target. However, because the targets change only once per epoch, Temporal Ensembling becomes unwieldy when learning large datasets. To overcome this problem, we propose Mean Teacher, a method that averages model weights instead of label predictions. As an additional benefit, Mean Teacher improves test accuracy and enables training with fewer labels than Temporal Ensembling. Without changing the network architecture, Mean Teacher achieves an error rate of 4.35% on SVHN with 250 labels, outperforming Temporal Ensembling trained with 1000 labels. We also show that a good network architecture is crucial to performance. Combining Mean Teacher and Residual Networks, we improve the state of the art on CIFAR-10 with 4000 labels from 10.55% to 6.28%, and on ImageNet 2012 with 10% of the labels from 35.24% to 9.11%.

연구 동기 및 목표

• 더 나은 타깃 품질을 통해 반지도 학습에서 비라벨 데이터의 활용을 개선하도록 동기를 부여한다.
• 가중치 평균화를 활용하여 타깃을 생성하는 교사-학생 프레임워크를 도입한다.
• 네트워크 구조를 바꾸지 않으면서 대규모 데이터셋과 현대적 아키텍처로의 확장 가능성을 보여준다.

제안 방법

• Mean Teacher 방법 정의: 각 학습 단계 후 학생 가중치의 지수 이동 평균(EMA)으로 교사 모델을 업데이트한다.
• 교사를 사용해 비라벨 데이터에 대한 일관성 타깃을 생성하기 위해 학생과 교사 출력 간의 일관성 손실(일반적으로 평균 제곱 오차)을 사용한다.
• 라벨이 있는 데이터의 분류 손실과 점진적으로 증가하는 일관성 손실을 결합해 라벨링된 데이터와 비라벨링된 데이터의 기여를 균형 있게 조정한다.
• 가중치 평균 타깃이 예측 기반 타깃(Temporal Ensembling과 같은)보다 더 빠른 피드백과 더 나은 표현을 산출함을 보인다.
• 유사한 ConvNet 아키텍처를 사용해 Mean Teacher를 Pi-model과 Temporal Ensembling과 비교하고, 제한된 라벨로 CIFAR-10의 Residual Networks로 확장 가능성을 테스트한다.

실험 결과

연구 질문

• RQ1 반지도 학습에서 가중치 평균 교사 타깃(Mean Teacher)이 예측 평균 타깃(Temporal Ensembling)보다 더 나은 성능을 보일 수 있는가?
• RQ2 적은 라벨과 더 큰 데이터셋에서 더 효율적인 학습과 더 나은 일반화를 가능하게 하는가?
• RQ3 Mean Teacher가 반지도 설정에서 네트워크 아키텍처(ConvNet 대 ResNet)와 어떻게 상호작용하는가?
• RQ4 성능에 대한 하이퍼파라미터(일관성 가중치, EMA 감소율) 및 학습 전략(분류와 일관성의 결합)의 영향은 무엇인가?
• RQ5 Mean Teacher가 온라인 학습과 대규모 비라벨 데이터셋으로의 확장성에 호환되는가?

주요 결과

• Mean Teacher는 반지도 SVHN 및 CIFAR-10에서 Pi-model 및 Temporal Ensembling보다 테스트 정확도를 향상시킨다.
• 250–1000개의 라벨이 달린 SVHN 예제에서 Mean Teacher는 여러 설정에서 Temporal Ensembling 및 Pi-model보다 더 낮은 오류율을 달성한다.
• 4000개의 라벨이 있는 CIFAR-10에서 ConvNet을 사용하는 Mean Teacher의 오류율은 12.31%이고, ResNet 아키텍처로는 6.28%로 감소한다; 10% 라벨의 ImageNet에서 Mean Teacher는 9.11% 검증 오류를 달성한다.
• Mean Teacher는 대규모 데이터셋과 온라인 학습으로 확장되며, 비라벨 데이터를 효율적으로 활용하고 학습 속도와 최종 정확도를 기준선 대비 향상시킨다.
• 강력한 네트워크 아키텍처(Shake-Shake 정규화를 갖춘 ResNet)가 Mean Teacher 성능을 더 향상시켜, 한정 라벨 상황에서 최첨단 연구 성과를 달성한다.