[논문 리뷰] UNICON: Combating Label Noise Through Uniform Selection and Contrastive Learning

Nazmul Karim, Mamshad Nayeem Rizve외 3명|arXiv (Cornell University)|2022. 03. 28.

Machine Learning and Data Classification인용 수 15

한 줄 요약

UNICON는 높은 레이블 노이즈 하에서 쉽게 학습되는 클래스에 대한 편향을 줄이기 위해 제논-샤논 발산을 사용한 균일한 선택 기반의 새로운 샘플 선택 방법을 제안한다. 이와 동시에 대조 학습을 통해 노이즈가 있는 레이블의 기억을 줄여, CIFAR100에서 90%의 노이즈가 있을 때 기존 최고 성능(SOTA)보다 11.4% 높은 정확도를 달성하며 극한의 노이즈 환경에서도 강건성과 일반화 능력을 입증한다.

ABSTRACT

Supervised deep learning methods require a large repository of annotated data; hence, label noise is inevitable. Training with such noisy data negatively impacts the generalization performance of deep neural networks. To combat label noise, recent state-of-the-art methods employ some sort of sample selection mechanism to select a possibly clean subset of data. Next, an off-the-shelf semi-supervised learning method is used for training where rejected samples are treated as unlabeled data. Our comprehensive analysis shows that current selection methods disproportionately select samples from easy (fast learnable) classes while rejecting those from relatively harder ones. This creates class imbalance in the selected clean set and in turn, deteriorates performance under high label noise. In this work, we propose UNICON, a simple yet effective sample selection method which is robust to high label noise. To address the disproportionate selection of easy and hard samples, we introduce a Jensen-Shannon divergence based uniform selection mechanism which does not require any probabilistic modeling and hyperparameter tuning. We complement our selection method with contrastive learning to further combat the memorization of noisy labels. Extensive experimentation on multiple benchmark datasets demonstrates the effectiveness of UNICON; we obtain an 11.4% improvement over the current state-of-the-art on CIFAR100 dataset with a 90% noise rate. Our code is publicly available

연구 동기 및 목표

• 높은 레이블 노이즈 하에서 현재의 방법들이 쉽게 학습되는 클래스를 선호함으로써 발생하는 청소된 샘플 선택 시 클래스 불균형 문제를 해결하기 위해.
• 선택된 청소된 데이터셋의 클래스 균형을 강제함으로써 준지도 학습에서의 가짜 레이블 품질을 향상시키기 위해.
• 레이블 없이도 강건한 표현을 학습할 수 있도록 대조 학습을 통해 노이즈가 있는 레이블의 기억을 줄이기 위해.
• 확률 모델링에 의존하지 않고도 단순하고 확장 가능하며 하이퍼파라미터가 없는 선택 메커니즘을 개발하기 위해.

제안 방법

• UNICON는 제논-샤논 발산 기반의 균일한 선택 메커니즘을 사용하여 선택된 청소된 데이터셋 내 각 클래스의 균형 임의 선택을 보장함으로써 쉽게 학습되는 클래스에 대한 편향을 방지한다.
• 이 방법은 동일한 두 개의 네트워크를 병렬로 훈련시켜 평균 예측을 통해 청소된 샘플을 식별하는 반복적인 샘플 분리 절차를 수행한다.
• 청소된 샘플은 모든 클래스 간 균일성을 강제하는 클래스 균형 전략을 통해 선택되며, 이는 선택의 공정성과 가짜 레이블의 품질을 향상시킨다.
• 대조 학습은 청소된 데이터셋에 적용되어 노이즈에 강인한 특징 표현을 학습함으로써 잘못된 레이블을 기억할 위험을 줄인다.
• 이 프레임워크는 수렴할 때까지 균일한 선택과 대조 손실을 포함한 준지도 학습을 번갈아 수행함으로써 일반화 능력을 향상시킨다.
• 이 방법은 확률 모델링과 하이퍼파라미터 튜닝을 피하기 위해 발산 기반의 균일성과 앙상블 평균을 활용하여 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 선택된 청소된 데이터셋에서 클래스 균형을 강제하면 고노이즈 환경에서 성능 향상이 이루어지는가?
• RQ2 제논-샤논 발산 기반의 균일한 선택이 소손 기반 선택보다 선택 정밀도와 공정성 측면에서 우수한가?
• RQ3 대조 학습이 준지도 학습 중 레이블 노이즈 기억을 어느 정도 줄일 수 있는가?
• RQ4 90% 이상과 같은 극한의 노이즈 수준에서 UNICON은 기존 최고 성능(SOTA) 방법과 비교해 어떻게 성능을 내는가?
• RQ5 특정 데이터셋에 맞게 튜닝하지 않고도 다양한 노이즈 비율과 데이터셋 분포에 대해 제안된 방법이 강건한가?

주요 결과

• UNICON는 CIFAR100에서 90%의 레이블 노이즈 비율일 때 현재 SOTA인 DMix보다 11.4% 높은 정확도를 기록하여 극한의 노이즈 환경에서도 뛰어난 성능을 보였다.
• 90%의 노이즈 비율에서 UNICON는 CIFAR10에서 90.81%의 Top-1 정확도를 기록했으며, DMix의 76.08%에 비해 뚜렷한 성능 향상을 보였다.
• 모든 노이즈 수준에서 높은 선택 정밀도를 유지하였으며, 98%의 노이즈에서도 ROC-AUC 점수가 꾸준히 증가하여 청소된 샘플 식별의 신뢰성을 입증했다.
• 대조 학습을 제거할 경우 CIFAR10에서 테스트 정확도가 3.53% 감소하고, CIFAR100에서는 2.99% 감소하여 대조 학습이 기억 방지를 위한 데 핵심적인 역할을 한다는 것을 입증했다.
• 클래스 균형 선택 전략은 성능 향상에 크게 기여하며, 균형 우선순위를 제거할 경우 정확도가 크게 떨어져 선택 편향을 방지하는 데 그 중요성이 확인되었다.
• ImageNet-1K에서 UNICON는 DMix보다 Top-5 정확도에서 1.88% 향상되었으며, 이는 CIFAR 벤치마크를 초월한 강력한 일반화 능력을 보여준다.