[논문 리뷰] Neighborhood Collective Estimation for Noisy Label Identification and Correction

Jichang Li, Guanbin Li외 2명|arXiv (Cornell University)|2022. 08. 05.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 논문은 확인 편향을 줄이기 위해 특성 공간 내 근접한 이웃을 활용하여 노이즈 있는 레이블 식별 및 수정을 향상시키는 새로운 방법인 Neighborhood Collective Estimation (NCE)을 제안한다. 각 샘플을 그 이웃들과 대조함으로써 NCE는 두 단계—노이즈 검증 및 레이블 수정—에서 예측 신뢰도를 향상시켜 고 노이즈 비율에서 CIFAR-10, CIFAR-100, Clothing-1M, Webvision-1.0에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Learning with noisy labels (LNL) aims at designing strategies to improve model performance and generalization by mitigating the effects of model overfitting to noisy labels. The key success of LNL lies in identifying as many clean samples as possible from massive noisy data, while rectifying the wrongly assigned noisy labels. Recent advances employ the predicted label distributions of individual samples to perform noise verification and noisy label correction, easily giving rise to confirmation bias. To mitigate this issue, we propose Neighborhood Collective Estimation, in which the predictive reliability of a candidate sample is re-estimated by contrasting it against its feature-space nearest neighbors. Specifically, our method is divided into two steps: 1) Neighborhood Collective Noise Verification to separate all training samples into a clean or noisy subset, 2) Neighborhood Collective Label Correction to relabel noisy samples, and then auxiliary techniques are used to assist further model optimization. Extensive experiments on four commonly used benchmark datasets, i.e., CIFAR-10, CIFAR-100, Clothing-1M and Webvision-1.0, demonstrate that our proposed method considerably outperforms state-of-the-art methods.

연구 동기 및 목표

• 노이즈 있는 레이블 학습에서 발생하는 확인 편향을 해결하기 위해, 즉 모델이 노이즈가 있을 수 있는 개별 예측에 의존할 때 발생하는 문제를 해결하기 위함.
• 특성 공간 내 샘플의 가장 가까운 이웃들로부터의 집단 정보를 통합하여 노이즈 있는 레이블 식별의 신뢰도를 향상시키기 위함.
• 모델의 강건성을 고 노이즈 비율에서 향상시키기 위해 두 단계 프레임워크—Neighborhood Collective Noise Verification (NCNV) 및 Neighborhood Collective Label Correction (NCLC)—를 개발하기 위함.
• 표준 방법이 편향된 가짜 레이블과 노이즈 레이블에 대한 과적합으로 인해 고 노이즈 환경에서 성능 저하가 발생할 때 이를 완화하기 위함.
• 일반화 성능 향상에 기여하는 일관성 정규화와 샘플 변형의 효과를 검증하기 위함.

제안 방법

• NCE는 후보 샘플의 예측 신뢰도를 특성 공간 내 이웃들의 레이블 분포와 비교하여 재평가함으로써 개별 예측 편향을 감소시킨다.
• NCNV 단계에서는 샘플의 예측 레이블과 그 이웃들의 집합 레이블 분포 간의 일관성에 기반해 샘플을 깨끗한지 노이즈 있는지 분류한다.
• NCLC 단계에서는 대조적 이웃들의 예측을 집계하여 더 신뢰할 수 있는 가짜 레이블을 생성하는 이웃 집단 추정 과정을 통해 노이즈 있는 샘플을 재레이블링한다.
• 이 방법은 노이즈 있는(미레이블링된) 샘플에 대해 일관성 정규화를 적용하며, 변형된 입력을 사용하여 학습을 안정화하고 일반화 성능을 향상시킨다.
• 모델 성능을 추가로 최적화하기 위해 신뢰도 임계값 설정 및 일관성 손실과 같은 보조 기법을 통합한다.
• t-SNE를 통한 특성 시각화 결과, 잘못 분류된 샘플은 결정 경계 근처에 집중되어 있는 반면, 잘 재레이블링된 샘플은 클러스터 중심에 위치함을 확인하여, 방법의 설계 원리가 타당함을 검증한다.

실험 결과

연구 질문

• RQ1 개별 예측 기반 방법에 비해 이웃 기반 집단 추정이 노이즈 있는 레이블 식별에서 확인 편향을 줄이는가?
• RQ2 특성 공간 내 가장 가까운 이웃을 활용함으로써 노이즈 있는 레이블 검증 및 수정의 정확도는 어떻게 향상되는가?
• RQ3 일관성 정규화와 입력 변형은 고 노이즈 학습 환경에서 모델 일반화에 어떤 영향을 미치는가?
• RQ4 다양한 노이즈 수준을 가진 다양한 벤치마크 데이터셋에서 NCE의 성능은 최신 기술(SOTA) 방법과 비교해 어떻게 되는가?
• RQ5 Clothing-1M 및 Webvision-1.0과 같은 클래스 불균형이 있는 노이즈 데이터에서 본 방법은 강건성을 유지하는가?

주요 결과

• NCE는 CIFAR-10, CIFAR-100, Clothing-1M, Webvision-1.0에서 최신 기술(SOTA)을 초월하며, 특히 높은 노이즈 비율(예: CIFAR-100에서 0.80)에서 뛰어난 일반화 성능을 보여줌.
• 대칭 노이즈 비율 0.80인 CIFAR-100에서, NCNV 단계는 300번째 에포크까지 학습 샘플 식별 정확도 95.2%를 달성하여 강력한 수렴성과 신뢰도를 보임.
• 일관성 손실(L^lab)을 비활성화하면 노이즈 비율 전반에서 평균 정확도가 1.7%에서 7.6%까지 감소하여, 이 손실이 모델 최적화에 핵심적인 역할을 함을 확인.
• 일관성 정규화에서 변형된 입력을 변형되지 않은 입력으로 대체할 경우 평균 정확도가 4.7% 감소하여, 변형이 효과적인 정규화를 위해 필수적임을 입증.
• t-SNE 시각화 결과, 올바르게 재레이블링된 샘플은 클러스터 중심에 집중되어 있는 반면, 잘못 분류되거나 제거된 샘플은 경계 근처에 위치함을 확인하여, 방법의 설계 원리가 타당함을 검증.
• 제거 분석 결과, 이웃 집단 추정이 특히 어려운 클래스나 불균형 클래스에서 깨끗한 샘플이 노이즈 있는 것으로 잘못 식별되는 것을 크게 감소시킴.