[논문 리뷰] Label Noise Types and Their Effects on Deep Learning

Görkem Algan, İlkay Ulusoy|arXiv (Cornell University)|2020. 03. 23.

Machine Learning and Data Classification참고 문헌 40인용 수 40

한 줄 요약

이 논문은 uniform, class-dependent, locally concentrated, 그리고 feature-dependent 레이블 노이즈가 심층 학습에 미치는 영향을 분석하고, 지식 증류를 이용해 희소한 피처-공간 표현을 생성하는 일반적인 피처 의존 노이즈 제너레이터를 제안한다.

ABSTRACT

The recent success of deep learning is mostly due to the availability of big datasets with clean annotations. However, gathering a cleanly annotated dataset is not always feasible due to practical challenges. As a result, label noise is a common problem in datasets, and numerous methods to train deep neural networks in the presence of noisy labels are proposed in the literature. These methods commonly use benchmark datasets with synthetic label noise on the training set. However, there are multiple types of label noise, and each of them has its own characteristic impact on learning. Since each work generates a different kind of label noise, it is problematic to test and compare those algorithms in the literature fairly. In this work, we provide a detailed analysis of the effects of different kinds of label noise on learning. Moreover, we propose a generic framework to generate feature-dependent label noise, which we show to be the most challenging case for learning. Our proposed method aims to emphasize similarities among data instances by sparsely distributing them in the feature domain. By this approach, samples that are more likely to be mislabeled are detected from their softmax probabilities, and their labels are flipped to the corresponding class. The proposed method can be applied to any clean dataset to synthesize feature-dependent noisy labels. For the ease of other researchers to test their algorithms with noisy labels, we share corrupted labels for the most commonly used benchmark datasets. Our code and generated noisy synthetic labels are available online.

연구 동기 및 목표

• 다양한 레이블 노이즈 유형을 동기 부여하고 분류하며, 학습에 미치는 고유한 영향을 구분한다.
• 피처 의존 레이블 노이즈를 생성하기 위한 일반적이고 증류 기반의 프레임워크를 제공한다.
• 각 노이즈 유형이 벤치마크 전반에서 훈련, 검증 및 테스트 성능에 미치는 영향을 평가한다.
• 일반 데이터세트에 대한 미리 생성된 노이즈 레이블을 공유하여 노이즈 강건 방법의 공정한 테스트를 돕는다.

제안 방법

• 세 가지 주요 노이즈 범주인 균일한 노이즈, 클래스 의존 노이즈, 피처 의존 노이즈를 조사하고 형식화한다.
• 지식 증류에서 영감을 받아 희소한 피처-공간 표현을 생성하는 피처 의존 노이즈 생성 방법을 제안한다.
• 소프트맥스 확률에 따라 불확실한 샘플의 레이블을 식별하고 반전하기 위해 교사-학생 증류 설정을 사용한다.
• 클래스별 피처 표현의 분산을 통해 희소성을 정량화하고 표준 학습과 비교한다.
• MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100 데이터세트에 대한 미리 생성된 노이즈 레이블을 제공한다.

실험 결과

연구 질문

• RQ1 다양한 레이블 노이즈 유형이 학습 역학 및 일반화에 미치는 특징적 효과는 무엇인가?
• RQ2 일반 프레임워크가 표준 학습에 도전적인 현실적인 피처 의존 레이블 노이즈를 생성할 수 있는가?
• RQ3 피처 의존 노이즈가 훈련, 검증, 테스트 성능에서 균일한 노이즈 및 클래스 의존 노이즈와 어떻게 비교되는가?
• RQ4 기존 노이즈-강건 알고리즘이 서로 다른 노이즈 유형에 따라 편차를 보이는가, 어떤 유형이 가장 문제인가?

주요 결과

• 균일한 노이즈와 클래스 의존 노이즈는 예측 가능한 방식으로 테스트 성능을 저하시켜도, 피처 의존 노이즈는 훈련/검증 성능이 비슷하더라도 테스트 정확도에 더 큰 해를 끼칠 수 있다.
• 피처 의존 노이즈는 훈련 및 검증 정확도를 유지하는 경향이 있지만 테스트 정확도는 크게 낮춰 노이즈 라벨에 대한 과적합 평가를 복잡하게 한다.
• 국소적으로 집중된 노이즈는 CIFAR-100과 같은 더 복잡한 데이터세트에서 특히 해롭고 결정 경계 학습을 느리게 한다.
• 데이터셋 크기를 늘리면 일부 노이즈 유형의 영향이 완화되지만, 피처 의존 노이즈는 여전히 매우 도전적이다.
• 노이즈-강건 방법들(예: Co-teaching)은 유형에 따라 효과가 다르게 나타내며, 모든 노이즈 유형에서 한 가지 방법이 우수하지 않다.