[논문 리뷰] Weight-averaged consistency targets improve semi-supervised deep learning results.

Antti Tarvainen, Harri Valpola|arXiv (Cornell University)|2017. 03. 06.

Advanced Neural Network Applications인용 수 62

한 줄 요약

이 논문은 평균 교사(Mean Teacher)를 제안하며, 학습 반복 동안 모델 가중치를 평균화하여 일관된 예측 타겟을 생성함으로써 일반화 성능을 향상시키는 준지도 학습 방법이다. 시간적 통합(Temporal Ensembling)보다 타겟 업데이트를 더 자주 수행함으로써 최신 기술 성능을 달성한다: SVHN에서는 250개의 레이블만으로 4.35%의 오차를 기록하고, CIFAR-10에서는 4,000개의 레이블로 6.28%의 오차를 기록하여 이전 방법들을 능가한다.

ABSTRACT

The recently proposed Temporal Ensembling has achieved state-of-the-art results in several semi-supervised learning benchmarks. It maintains an exponential moving average of label predictions on each training example, and penalizes predictions that are inconsistent with this target. However, because the targets change only once per epoch, Temporal Ensembling becomes unwieldy when learning large datasets. To overcome this problem, we propose Mean Teacher, a method that averages model weights instead of label predictions. As an additional benefit, Mean Teacher improves test accuracy and enables training with fewer labels than Temporal Ensembling. Without changing the network architecture, Mean Teacher achieves an error rate of 4.35% on SVHN with 250 labels, outperforming Temporal Ensembling trained with 1000 labels. We also show that a good network architecture is crucial to performance. Combining Mean Teacher and Residual Networks, we improve the state of the art on CIFAR-10 with 4000 labels from 10.55% to 6.28%, and on ImageNet 2012 with 10% of the labels from 35.24% to 9.11%.

연구 동기 및 목표

• 대규모 데이터셋에서 예측 타겟 업데이트 빈도가 낮아 성능이 떨어지는 시간적 통합(Temporal Ensembling)의 비효율성을 해결하기 위해.
• 예측 기반 일관성 대신 가중치 평균화된 모델 일관성으로 준지도 학습 성능을 향상시키기 위해.
• 높은 정확도를 달성하기 위해 필요한 레이블 예측 수를 줄이기 위해.
• Residual Networks와 같은 강력한 아키텍처와 결합했을 때 Mean Teacher가 성능을 더욱 향상시키는지 보여주기 위해.

제안 방법

• Mean Teacher는 자기 모델의 가중치에 대해 지수 이동 평균을 유지하여 교사 네트워크를 구성한다.
• 학습 중에 학생 네트워크의 예측은 동일한 입력에 대해 교사 네트워크의 예측과 일치하도록 정규화된다.
• 교사 네트워크의 가중치는 모멘타임 업데이트 규칙을 사용하여 업데이트된다: θ_teacher ← τθ_teacher + (1−τ)θ_student.
• 이 방법은 동일한 증강된 입력에 대해 학생과 교사의 예측 간 L2 손실을 최소화함으로써 일관성 정규화를 적용한다.
• 이로 인해 타겟 업데이트가 더 자주 이루어져 대규모 데이터셋에서 학습 안정성과 수렴 속도가 향상된다.
• 이 방법은 아키텍처에 관계없이 적용 가능하며, 특히 잔차 네트워크와 같은 어떤 딥 네트워크와도 조합할 수 있다.

실험 결과

연구 질문

• RQ1 가중치 평균화된 일관성 타겟은 예측 평균화된 타겟보다 준지도 학습 성능을 향상시키는가?
• RQ2 가중치 평균화를 통한 빈번한 타겟 업데이트는 더 나은 일반화와 더 빠른 수렴을 이끌어내는가?
• RQ3 Mean Teacher는 이전 방법들보다 훨씬 적은 레이블 예측 수로 최신 기술 성능을 달성할 수 있는가?
• RQ4 Mean Teacher와 잔차 네트워크의 조합이 표준 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• SVHN에서 250개의 레이블만으로 Mean Teacher는 테스트 오차 4.35%를 기록했으며, 이는 1,000개의 레이블로 학습한 시간적 통합(Temporal Ensembling)을 능가한다.
• CIFAR-10에서 4,000개의 레이블로 학습했을 때, Residual Networks와 결합한 Mean Teacher는 오차를 10.55%에서 6.28%로 감소시켰다.
• ImageNet 2012에서 훈련 레이블의 10%만 사용했을 때, Mean Teacher와 Residual Networks를 조합하면 오차가 35.24%에서 9.11%로 감소했다.
• 이 방법은 시간적 통합보다 더 자주 타겟을 업데이트할 수 있어 대규모 데이터셋에서 학습 효율성이 향상된다.
• 성능 향상 요인은 일관성 메커니즘 외에도 강력한 잔차 네트워크 아키텍처의 사용 덕분이기도 하다.