[논문 리뷰] Jo-SRC: A Contrastive Approach for Combating Noisy Labels

Yazhou Yao, Zeren Sun외 5명|arXiv (Cornell University)|2021. 03. 24.

Machine Learning and Data Classification참고 문헌 53인용 수 6

한 줄 요약

Jo-SRC는 대조적 학습 기반 방법을 통해 깊이 신경망에서 노이즈 있는 레이블을 다루기 위해 전역적으로 청소된 샘플을 선택하고, 이중 시각 간의 예측 일관성에 의해 내분포(ID) 및 외분포(OOD) 노이즈 있는 샘플을 구분한다. 일관성 정규화를 포함한 통합 손실을 사용하여 CIFAR80N-O에서 최신 기술 성능(65.83% 테스트 정확도)을 달성하고, 높은 노이즈 비율에서도 뛰어난 샘플 선택 정밀도를 보인다.

ABSTRACT

Due to the memorization effect in Deep Neural Networks (DNNs), training with noisy labels usually results in inferior model performance. Existing state-of-the-art methods primarily adopt a sample selection strategy, which selects small-loss samples for subsequent training. However, prior literature tends to perform sample selection within each mini-batch, neglecting the imbalance of noise ratios in different mini-batches. Moreover, valuable knowledge within high-loss samples is wasted. To this end, we propose a noise-robust approach named Jo-SRC (Joint Sample Selection and Model Regularization based on Consistency). Specifically, we train the network in a contrastive learning manner. Predictions from two different views of each sample are used to estimate its "likelihood" of being clean or out-of-distribution. Furthermore, we propose a joint loss to advance the model generalization performance by introducing consistency regularization. Extensive experiments have validated the superiority of our approach over existing state-of-the-art methods.

연구 동기 및 목표

• 작은 배치 내에서 노이즈 비율이 다양하고 비균형적인 상황에서도 깊이 신경망의 성능 저하 문제를 해결하기 위해.
• 기존의 소손실 기반 샘플 선택 방법이 각 배치 내에서 일관된 노이즈 비율을 가정하고 고손실 샘플을 기각한다는 한계를 극복하기 위해.
• 청소된 샘플뿐 아니라 ID 및 OOD 노이즈 있는 샘플을 재레이블링하고 일관성 정규화를 통해 일반화 성능을 향상시키기 위해.
• 대조 예측과 발산 측정법을 사용하여 청소된 샘플, ID 노이즈 있는 샘플, OOD 노이즈 있는 샘플을 구분하는 전역적으로 인지하는 강력한 샘플 선택 전략을 개발하기 위해.

제안 방법

• Jo-SRC는 입력 이미지의 두 가지 서로 다른 시각을 생성하여 기초 네트워크를 통해 이중 예측을 도출함으로써 표현 학습을 향상시키기 위한 대조적 학습을 구현한다.
• 예측 확률 분포와 진짜 레이블 분포 간의 젠슨-쇼넌(Johnson-Shannon, JS) 발산을 계산하여 샘플이 청소된 상태일 가능성을 추정한다.
• 두 시각 간의 예측 불일치를 활용하여 샘플이 OOD일 가능성이 있는지 평가함으로써 OOD 노이즈 있는 샘플과 ID 샘플을 분리한다.
• 청소된 샘플은 표준 크로스 엔트로피 손실로 훈련되며, ID 및 OOD 노이즈 있는 샘플은 역전파 이전에 평균-티처 모델을 사용해 재레이블링된다.
• 크로스 엔트로피와 일관성 정규화 항을 포함한 통합 손실 함수를 통해 모델의 일반화 성능과 내성 강도를 향상시킨다.
• 샘플 선택은 각 배치 내에서가 아니라 전체 데이터셋 전역에서 수행되어 변동하는 노이즈 비율로 인한 편향을 줄인다.

실험 결과

연구 질문

• RQ1 배치 간 노이즈 비율이 다양하고 비균형적인 상황에서, 각 배치 내 선택 방식과 비교해 대조적 학습 프레임워크가 청소된 샘플 선택 성능을 향상시킬 수 있는가?
• RQ2 JS 발산과 예측 일관성의 사용이 청소된 샘플과 ID, OOD 노이즈 있는 샘플을 구분하는 데 얼마나 효과적인가?
• RQ3 평균-티처 모델을 통해 ID 및 OOD 노이즈 있는 샘플을 재레이블링하는 것이 노이즈 레이블에 과적합되지 않도록 하면서 모델 일반화 성능을 향상시킬 수 있는가?
• RQ4 청소된 샘플과 재레이블링된 노이즈 있는 샘플에 대한 선택적 훈련과 결합했을 때, 일관성 정규화가 모델 성능에 기여하는 정도는 어떠한가?
• RQ5 특히 높은 노이즈 비율에서, Jo-SRC가 닫힌 집합 및 열린 집합 노이즈 레이블 시나리오 양쪽 모두에서 최신 기술 성능을 초월하는가?

주요 결과

• Jo-SRC는 20% 대칭 노이즈 조건에서 CIFAR80N-O에서 65.83%의 테스트 정확도를 달성하여 이전 최신 기술 성능을 능가한다.
• 가장 도전적인 설정(80% 대칭 노이즈)에서 Jo-SRC는 훈련 과정 동안 청소된 샘플 선택 정밀도가 지속적으로 증가하는 반면, 다른 방법들은 성능 저하를 보인다.
• 모든 노이즈 수준에서 Jo-SRC가 청소된 샘플 선택 정밀도가 가장 높으며, 80% 노이즈 조건에서 가장 뛰어난 성능을 기록한다.
• 모든 비교 방법들 중에서 Jo-SRC는 노이즈 레이블(모두 ID 및 OOD)에 대한 예측 정확도가 가장 낮아, 노이즈 레이블에 대한 기억 현상이 감소했음을 시사한다.
• 절단 분석 결과 청소된 샘플 선택이 성능 향상에 가장 큰 기여를 하며, ID 및 OOD 샘플 재레이블링과 일관성 정규화가 일반화 성능 향상에 추가 기여하는 것으로 확인된다.
• Jo-SRC는 진짜 레이블에 비해 ID 노이즈 있는 샘플에 대해 가장 높은 예측 정확도를 기록하여 효과적인 재레이블링과 일반화 능력을 입증한다.