[논문 리뷰] Understanding and Utilizing Deep Neural Networks Trained with Noisy Labels

Pengfei Chen, Benben Liao외 2명|arXiv (Cornell University)|2019. 05. 13.

Machine Learning and Data Classification참고 문헌 27인용 수 139

한 줄 요약

이 논문은 라벨 노이즈가 DNN 일반화에 미치는 영향을 분석하고, 테스트 정확도가 대칭 노이즈의 제곱 함수임을 증명하며, CLEAN 샘플을 식별하고 강인한 모델을 학습하기 위해 INCV+Co-teaching을 제안하여 CIFAR-10과 WebVision에서 최첨단 성과를 달성한다.

ABSTRACT

Noisy labels are ubiquitous in real-world datasets, which poses a challenge for robustly training deep neural networks (DNNs) as DNNs usually have the high capacity to memorize the noisy labels. In this paper, we find that the test accuracy can be quantitatively characterized in terms of the noise ratio in datasets. In particular, the test accuracy is a quadratic function of the noise ratio in the case of symmetric noise, which explains the experimental findings previously published. Based on our analysis, we apply cross-validation to randomly split noisy datasets, which identifies most samples that have correct labels. Then we adopt the Co-teaching strategy which takes full advantage of the identified samples to train DNNs robustly against noisy labels. Compared with extensive state-of-the-art methods, our strategy consistently improves the generalization performance of DNNs under both synthetic and real-world training noise.

연구 동기 및 목표

• 노이즈가 있는 라벨로 학습된 심층 신경망의 일반화에 라벨 노이즈가 어떤 영향을 미치는지 정량화한다.
• 대칭 노이즈와 비대칭 노이즈 하에서 테스트 정확도와 노이즈 비율 간의 이론적 관계를 제시한다.
• noisy 데이터셋에서 깨끗한 라벨을 식별하는 실용적 알고리즘을 개발하고 이를 강인한 학습에 통합한다.
• 기존 방법과 비교하여 합성 및 실제 노이즈 데이터셋(CIFAR-10 및 WebVision)에서 최첨단 성능을 입증한다.

제안 방법

• 노이즈 전이 매트릭스 T를 사용하여 일반화가 분포에 대해 어떻게 작용하는지 분석하기 위한 노이즈 레이블 학습 모델.
• 대칭 및 비대칭 노이즈에 대한 테스트-정확도 공식을 도출하기 (예: Eqs. 4–5 및 관련 코럴리-aries).
• 노이즈 샘플을 교차 학습하여 깨끗한 샘플을 식별하는 Noisy Cross-Validation (NCV) 도입(알고리즘 1).
• 반복적으로 깨끗한 부분집합을 확장하고 노이즈를 추정하는 Iterative Noisy Cross-Validation (INCV) 도입(알고리즘 2).
• INCV를 강화된 Co-teaching 프레임워크(알고리즘 3)와 통합하여 깨끗한 부분집합 강조 및 후보 샘플의 사용을 제어하면서 두 네트워크를 학습한다.

실험 결과

연구 질문

• RQ1 라벨 노이즈(대칭 대 비대칭)가 DNN의 테스트 정확도와 일반화에 정량적으로 어떤 영향을 미치는가?
• RQ2 노이즈 라벨로 학습된 DNN의 테스트 정확도가 노이즈 비율의 함수로 표현될 수 있으며 그것이 실험 관찰과 일치하는가?
• RQ3 노이즈 데이터셋에서 깨끗한(정확한) 샘플을 신뢰성 있게 식별하여 학습을 개선할 수 있는가?
• RQ4 반복적 노이즈 교차 검증(INCV)과 Co-teaching의 결합이 합성 및 실제 노이즈 데이터셋에서 더 뛰어난 강인성과 정확성을 보이는가?

주요 결과

• 대칭 노이즈 하에서 테스트 정확도는 노이즈 비율의 이차식이다.
• 노이즈 데이터에서 학습된 DNN의 예측은 노이즈 전이 매트릭스 T로 특성화된 실제 라벨의 분포를 따르며(분포의 일반화).
• 노이즈 교차 검증(NCV)과 반복 NCV(INCV)는 상당한 비율의 깨끗한 샘플을 식별하고 선택된 세트에서 유효 노이즈를 줄일 수 있다(LP 및 LR 지표).
• INCV가 강화된 Co-teaching 프레임워크는 대칭 및 비대칭 노이즈가 있을 때 CIFAR-10에서의 테스트 정확도와 WebVision/ILSVRC12 유효성 검증에서 다수의 기준선보다 우수한 성능을 달성한다.
• 실험 결과 네트워크가 노이즈 CIFAR-10에서 예측한 혼동 행렬에서 M ≈ T로 나타나 이론적 예측을 검증한다.