[논문 리뷰] Learning with Instance-Dependent Label Noise: A Sample Sieve Approach

Hao Cheng, Zhaowei Zhu외 4명|arXiv (Cornell University)|2020. 10. 05.

Machine Learning and Data Classification참고 문헌 57인용 수 27

한 줄 요약

이 논문은 노이즈 비율 추정이 필요 없으며 예시에 의존하는 레이블 노이즈 학습을 위한 새로운 샘플 시브 방법인 CORES 2를 제안한다. 신뢰도 정규화를 활용해 청소료 예시를 식별하고, 모델 예측에서 유도된 폐쇄형 임계값을 적용하여 샘플 시브를 수행함으로써, 합성 및 실제 노이즈 레이블 설정에서 CIFAR-10, CIFAR-100, Clothing1M에서 최신 기술 수준의 성능을 달성하며, 손상된 예시를 걸러내는 이론적 보장을 제공한다.

ABSTRACT

Human-annotated labels are often prone to noise, and the presence of such noise will degrade the performance of the resulting deep neural network (DNN) models. Much of the literature (with several recent exceptions) of learning with noisy labels focuses on the case when the label noise is independent of features. Practically, annotations errors tend to be instance-dependent and often depend on the difficulty levels of recognizing a certain task. Applying existing results from instance-independent settings would require a significant amount of estimation of noise rates. Therefore, providing theoretically rigorous solutions for learning with instance-dependent label noise remains a challenge. In this paper, we propose CORES$^{2}$ (COnfidence REgularized Sample Sieve), which progressively sieves out corrupted examples. The implementation of CORES$^{2}$ does not require specifying noise rates and yet we are able to provide theoretical guarantees of CORES$^{2}$ in filtering out the corrupted examples. This high-quality sample sieve allows us to treat clean examples and the corrupted ones separately in training a DNN solution, and such a separation is shown to be advantageous in the instance-dependent noise setting. We demonstrate the performance of CORES$^{2}$ on CIFAR10 and CIFAR100 datasets with synthetic instance-dependent label noise and Clothing1M with real-world human noise. As of independent interests, our sample sieve provides a generic machinery for anatomizing noisy datasets and provides a flexible interface for various robust training techniques to further improve the performance. Code is available at https://github.com/UCSC-REAL/cores.

연구 동기 및 목표

• 예시 난이도에 따라 변하는, 특징에 독립적이지 않은(annotation 오류가 예시 난이도에 따라 달라지는) 예시에 의존하는 레이블 노이즈 문제를 해결하기 위해.
• 노이즈 비율 또는 전이 행렬 추정이 필요 없이 손상된 예시를 걸러내는 방법을 개발하기 위해.
• 노이즈 데이터에서의 신뢰도 정규화된 손실 최소화가 진정한 기저 분포에서의 청소료 손실 최소화를 근사한다는 이론적 보장을 제공하기 위해.
• 청소료 및 손상된 예시를 분리하여 훈련함으로써 DNN 훈련을 향상시키기 위해, 청소료 데이터에는 표준 크로스 엔트로피 손실을 적용하고, 노이즈가 있는 데이터에는 일致성 손실을 적용하기 위해.
• 익명화되고 고품질의 청소료 데이터에 통합할 수 있는 일반적이고 유연한 인터페이스를 제공하기 위해.

제안 방법

• CORES 2는 분류기의 신뢰도를 향상시켜 청소료 예시를 식별하는 데 도움이 되는 손실 함수에 신뢰도 정규화(CR) 항을 도입한다.
• 모델의 예측에서 유도된 폐쇄형 임계값을 사용하여 낮은 신뢰도를 가진 예시를 걸러내어 고품질의 청소료 샘플 집합을 형성한다.
• 노이즈 비율 추정이 필요 없이, 정규화된 손실 기반으로 동적으로 훈련 데이터를 청소료 및 손상된 서브셋으로 분리한다.
• 청소료 예시는 표준 크로스 엔트로피 손실로 훈련하고, 손상된 예시는 일반화를 향상시키기 위해 비지도 일관성 손실로 훈련한다.
• 이론적으로, 신뢰도 정규화된 손실이 약한 가정 하에 청소료 크로스 엔트로피 손실과 동일하다고 보여진다.
• 이 프레임워크는 모듈러하게 설계되어 시브링 이후 다양한 강건한 훈련 기법과 통합이 가능하다.

실험 결과

연구 질문

• RQ1 노이즈 비율 추정 없이, 예시에 의존하는 레이블 노이즈 하에서 청소료 및 손상된 예시를 신뢰성 있게 분리할 수 있는 샘플 시브를 구축할 수 있는가?
• RQ2 손실 함수에 포함된 신뢰도 정규화가 청소료 예시 식별 및 훈련의 강건성 향상에 기여하는가?
• RQ3 이론적으로 근거가 있는 임계값 기반 샘플 시브 메커니즘이 합성 및 실제 노이즈 레이블 설정에서 기존 방법을 능가할 수 있는가?
• RQ4 청소료 및 손상된 예시에 대해 별도의 손실 함수를 사용하여 훈련을 분리함으로써 모델의 일반화 및 정확도에 어떤 영향을 미치는가?
• RQ5 CORES 2는 다양한 수준의 예시에 의존하는 노이즈를 가진 다중 분류 문제로 얼마나 일반화될 수 있는가?

주요 결과

• CORES 2는 대칭 노이즈 비율 0.2일 때 CIFAR-10에서 95.9%의 테스트 정확도를 달성하며, DivideMix와 같은 최신 기술 수준의 방법을 능가한다.
• Tiny-ImageNet에서 노이즈 비율 0.2일 때 CORES 2는 73.47%의 정확도를 기록하며, MAE 및 GCE와 같은 방법들을 능가한다.
• 일관성 훈련 없이도, CORES 2는 대칭 노이즈(0.2)에서 90.70%의 정확도, 비대칭 노이즈(0.1)에서 92.41%의 정확도를 달성하여, 단지 신뢰도 정규화만으로도 강건함을 입증한다.
• 절단 실험을 통해 동적 샘플 시브와 신뢰도 정규화 모두 성능 향상에 기여함을 확인하였으며, 전체 방법은 대칭 노이즈(0.2)에서 95.73%의 정확도를 기록한다.
• 실제 인간이 애너테이션한 레이블 노이즈가 있는 Clothing1M에서 CORES 2는 96.05%의 정확도를 달성하여, 복잡한 실제 데이터셋에서 강력한 일반화 능력을 입증한다.
• 이론적 분석을 통해, 노이즈 데이터에서의 신뢰도 정규화된 손실 최소화가 약한 가정 하에 관측 불가능한 진정한 분포에서의 청소료 손실 최소화와 동일하다고 보여진다.