[논문 리뷰] Meta Pseudo Labels

Hieu Pham, Zihang Dai외 3명|arXiv (Cornell University)|2020. 03. 23.

Machine Learning and Data Classification인용 수 28

한 줄 요약

메타 편표 레이블은 학생 네트워크가 라벨이 부여된 데이터에서 학생의 성능에 기반해 지속적으로 업데이트되는 교사 네트워크에 의해 생성된 편표 레이블을 통해 학습하는 준지도학습 방법을 제안한다. 이 피드백 기반 적응은 편표 레이블의 품질을 향상시키며, ImageNet에서 기존 최고 성능보다 1.6% 향상된 90.2%의 top-1 정확도를 달성하여 새로운 최고 성능을 기록한다.

ABSTRACT

We present Meta Pseudo Labels, a semi-supervised learning method that achieves a new state-of-the-art top-1 accuracy of 90.2% on ImageNet, which is 1.6% better than the existing state-of-the-art. Like Pseudo Labels, Meta Pseudo Labels has a teacher network to generate pseudo labels on unlabeled data to teach a student network. However, unlike Pseudo Labels where the teacher is fixed, the teacher in Meta Pseudo Labels is constantly adapted by the feedback of the student's performance on the labeled dataset. As a result, the teacher generates better pseudo labels to teach the student. Our code will be available at https://github.com/google-research/google-research/tree/master/meta_pseudo_labels.

연구 동기 및 목표

• 편표 레이블링에서 정확하지 않은 교사가 생성한 레이블로 인해 학생의 성능이 떨어지는 확인 편향 문제를 해결하기 위해.
• 학생의 학습 상태에 동적으로 적응할 수 있도록 교사를 개선하여 준지도학습을 향상시키기 위해.
• 소량의 라벨된 데이터와 풍부한 라벨되지 않은 데이터를 사용해 ImageNet과 같은 대규모 벤치마크에서 최고 성능을 달성하기 위해.
• EfficientNet과 ResNet을 포함한 다양한 아키텍처로 대규모 데이터셋과의 확장성을 입증하기 위해.
• CIFAR-10, SVHN, ImageNet을 포함한 여러 데이터셋에서 피드백 기반 교사 적응의 효과성을 검증하기 위해.

제안 방법

• 학생과 교사 네트워크를 병렬로 훈련하며, 학생은 라벨이 없는 데이터에서 교사가 생성한 편표 레이블을 기반으로 학습한다.
• 학생이 라벨된 검증 세트에서의 성능에서 유도된 보상 신호를 사용해 교사를 업데이트함으로써 피드백 기반 적응을 가능하게 한다.
• 학생의 손실은 라벨이 없는 데이터에서 교사의 편표 레이블과 학생의 예측 간의 교차 엔트로피이다.
• 학생의 라벨된 손실을 서브로게이트 보상 신호로 사용해 교사의 파라미터를 경사 하강법으로 최적화한다.
• 메모리 사용량을 줄이면서도 성능을 유지하기 위해 대규모 실험에서는 축소된 교사 네트워크(예: 5층의 MLP)를 사용한다.
• EfficientNet-B7를 ImageNet에, EfficientNet-B0를 CIFAR-10과 SVHN에 적용하며, TinyImages와 YFCC-100M에서의 도메인 외 라벨이 없는 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 학생의 피드백에 기반해 적응하는 교사 네트워크가 준지도학습에서 편표 레이블의 품질과 일반화 능력을 향상시킬 수 있는가?
• RQ2 피드백 기반 교사 적응이 편표 레이블링 방법에서 확인 편향을 완화하는가?
• RQ3 메타 편표 레이블이 소량의 라벨된 데이터로 ImageNet과 같은 대규모 벤치마크에서 최고 성능을 달성할 수 있는가?
• RQ4 이 방법은 다양한 아키텍처와 도메인 외 라벨이 없는 데이터로 어떻게 확장되는가?
• RQ5 적응형 교사가 NoisyStudent와 FixMatch와 같은 고정된 교사 방법보다 측정 가능한 성능 향상을 제공하는가?

주요 결과

• 메타 편표 레이블은 ImageNet ILSVRC 2012 검증 세트에서 기존 최고 성능인 88.6%보다 1.6% 향상된 새로운 최고 성능인 90.2%의 top-1 정확도를 달성했다.
• ImageNet-ReaL 테스트 세트에서는 91.02%의 top-1 정확도를 기록하여 표준 검증 분할을 초월한 강력한 일반화 능력을 보였다.
• 라벨이 4,000개인 CIFAR-10에서 메타 편표 레이블은 98.56%의 정확도를 기록했으며, NoisyStudent 기준 0.34% 향상된 성능을 보였다.
• 라벨이 1,000개인 SVHN에서 메타 편표 레이블은 98.78%의 정확도를 기록했으며, NoisyStudent 기준 동일한 성능을 달성하여 고품질 데이터에서의 성능 향상 한계를 보였다.
• 라벨이 10%인 ImageNet에서 메타 편표 레이블은 86.87%의 top-1 정확도를 기록했으며, NoisyStudent의 85.81%보다 1.06% 향상된 성능을 보였다.
• 축소된 교사 버전은 성능을 유지하면서도 메모리 사용량을 크게 줄여, 123만 개의 라벨이 있는 ImageNet에서의 대규모 실험을 가능하게 했다.