[논문 리뷰] Deep Learning is Robust to Massive Label Noise

David Rolnick, Andreas Veit외 2명|arXiv (Cornell University)|2017. 05. 30.

Machine Learning and Data Classification참고 문헌 27인용 수 408

한 줄 요약

본 논문은 충분한 데이터 양과 적절한 학습 설정이 주어지면 표준 심층 신경망이 훈련 라벨이 대대적으로 손상되더라도 일반화에 잘 작동할 수 있음을 보여준다.

ABSTRACT

Deep neural networks trained on large supervised datasets have led to impressive results in image classification and other tasks. However, well-annotated datasets can be time-consuming and expensive to collect, lending increased interest to larger but noisy datasets that are more easily obtained. In this paper, we show that deep neural networks are capable of generalizing from training data for which true labels are massively outnumbered by incorrect labels. We demonstrate remarkably high test performance after training on corrupted data from MNIST, CIFAR, and ImageNet. For example, on MNIST we obtain test accuracy above 90 percent even after each clean training example has been diluted with 100 randomly-labeled examples. Such behavior holds across multiple patterns of label noise, even when erroneous labels are biased towards confusing classes. We show that training in this regime requires a significant but manageable increase in dataset size that is related to the factor by which correct labels have been diluted. Finally, we provide an analysis of our results that shows how increasing noise decreases the effective batch size.

연구 동기 및 목표

• 노이즈가 심한 라벨 상황에서의 딥 러닝 연구를 고무하여 소음이 있는 주석으로 실제 데이터 수집의 타당성을 평가한다.
• 다수의 데이터셋과 아키텍처에서 레이블 노이즈가 증가함에 따라 테스트 성능이 얼마나 저하되는지(또는 유지되는지)를 정량화한다.
• 노이즈하에서 학습을 지속시키기 위해 데이터셋 크기, 배치 크기, 학습률이 어떻게 상호 작용하는지 이해한다.
• 레이블 노이즈의 기원과 구조를 특성화하고 그것들이 학습 역학에 미치는 영향을 분석한다.
• 클린 라벨이 드물거나 비싼 상황에서 학습 파이프라인 설계에 대한 시사점을 제공한다.

제안 방법

• MNIST, CIFAR-10, ImageNet에서 각 깨끗한 라벨당 α개의 노이즈 라벨을 체계적으로 추가하여 매우 노이즈가 많은 학습 세트를 만든다.
• 잡다한 아키텍처(MLP, ConvNet, ResNet)를 평가하여 노이즈 허용도를 비교한다.
• 세 가지 노이즈 패턴을 모델링한다: 균일 라벨 노이즈, 구조화된 노이즈, 그리고 어휘 외/다른 소스의 노이즈.
• 실험적 연구와 이론적 노이즈 손실 형식(Hα)을 이용하여 배치 크기와 학습률이 노이즈 하의 학습에 미치는 영향을 분석한다.
• 다른 노이즈 소스들(동일 데이터셋, 다른 데이터셋, 화이트 노이즈)이 강건성에 미치는 영향을 조사한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈가 정답 라벨보다 훨씬 많을 때 심층 네트워크가 얼마나 잘 일반화할 수 있는가?
• RQ2 방대한 레이블 노이즈 하에서 높은 정확도를 달성하기 위해 어떤 데이터셋 크기, 배치 크기, 학습률 설정이 필요한가?
• RQ3 다른 노이즈 구조(균일, 구조화)가 노이즈가 있는 라벨 학습에 어떤 영향을 미치는가?
• RQ4 노이즈 소스(동일 도메인 내 vs 도메인 외 vs 무작위)가 강건성에 미치는 영향은 무엇인가?
• RQ5 이론적 노이즈 손실 관점이 높은 노이즈에서 관찰된 강건성을 설명할 수 있는가?

주요 결과

• MNIST에서 진짜 라벨이 노이즈 라벨보다 최대 100배 많아질 때도 심층 네트워크는 높은 테스트 성능을 유지하며(90% 이상 정확도).
• CIFAR-10에서 정답 라벨당 10개의 노이즈 라벨로도 네트워크가 85% 이상 정확도를 달성; ImageNet에서는 정답 라벨당 5개의 노이즈 라벨일 때도 top-5 정확도가 70%를 상회한다.
• 더 큰 네트워크(ConvNets, ResNets)가 작은 아키텍처보다 라벨 노이즈에 대해 더 강건한 경향이 있다.
• 충분히 큰 학습 세트가 더 높은 노이즈를 보상하며, 필요한 청정 데이터의 양은 노이즈 수준에 따라 대략 선형적으로(약 약간 초선형으로) 증가한다.
• 배치 크기를 늘리면 노이즈 라벨로 인한 신호 손실의 효과를 완화하고, 노이즈가 증가하면 학습률은 감소시켜야 한다.