[논문 리뷰] On Learning Contrastive Representations for Learning with Noisy Labels

Yi Li, Sheng Liu외 3명|arXiv (Cornell University)|2022. 03. 03.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 교란된 레이블과 관련된 정보를 제거함으로써 노이즈가 있는 레이블을 기억하는 것을 방지하고 분류기의 노이즈에 대한 저항성을 높이는, 새로운 대비 표현 정규화(CTRR) 방법을 제안한다. 이론적으로 CTRR는 진정한 레이블 정보를 유지하면서도 레이블 노이즈에 대해 본질적으로 강건한 표현을 보장하며, CIFAR-10에서 최대 80%의 레이블 노이즈가 존재할 경우 기존의 교차 엔트로피 학습 및 기존의 노이즈에 강건한 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Deep neural networks are able to memorize noisy labels easily with a softmax cross-entropy (CE) loss. Previous studies attempted to address this issue focus on incorporating a noise-robust loss function to the CE loss. However, the memorization issue is alleviated but still remains due to the non-robust CE loss. To address this issue, we focus on learning robust contrastive representations of data on which the classifier is hard to memorize the label noise under the CE loss. We propose a novel contrastive regularization function to learn such representations over noisy data where label noise does not dominate the representation learning. By theoretically investigating the representations induced by the proposed regularization function, we reveal that the learned representations keep information related to true labels and discard information related to corrupted labels. Moreover, our theoretical results also indicate that the learned representations are robust to the label noise. The effectiveness of this method is demonstrated with experiments on benchmark datasets.

연구 동기 및 목표

• 교차 엔트로피 손실을 사용해 훈련하는 딥 네ural 네트워크에서 지속적인 노이즈 레이블 기억 현상을 해결한다.
• 비강건한 교차 엔트로피에 의존하는 바탕으로 여전히 기억 현상에 취약한 기존의 노이즈에 강건한 손실 함수의 한계를 극복한다.
• 진정한 레이블 구조에 집중함으로써 본질적으로 레이블 노이즈에 강건한 표현 학습 방법을 개발한다.
• 대비 표현이 훈련 중에 손상된 레이블의 영향을 억제할 수 있음을 이론적·실증적으로 입증한다.
• 기존의 레이블 보정 및 노이즈에 강건한 손실 방법과의 호환성을 보장하여 성능 향상을 더욱 높일 수 있도록 한다.

제안 방법

• 노이즈가 있는 레이블에 의존하지 않고 양성 쌍을 정의하는 새로운 대비 정규화 함수를 제안한다.
• SimSiam와 유사하게, 모멘터미 기반 예측 헤드를 사용하여 뷰 증강 간의 일관된 표현을 유도한다.
• 손상된 레이블과 관련된 특징은 명시적으로 억제하면서도 진정한 레이블 관련 정보는 유지하도록 정규화를 설계한다.
• 이론적 분석을 통해 유도된 표현이 노이즈 레이블에 대한 충분한 정보를 갖추지 못하기 때문에 강건함을 보임을 확인한다.
• 기울기 분석을 통해 높은 노이즈 수준에서도 올바른 대비 쌍이 학습 과정을 지배함을 확인한다.
• 프레임워크에 종속되지 않으며, SimSiam 및 SupCon을 포함한 다양한 대비 학습 아키텍처에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 레이블을 정의하는 데 의존하지 않도록 대비 표현 학습을 레이블 노이즈에 대해 강건하게 만들 수 있는가?
• RQ2 제안된 정규화 함수는 학습된 표현에서 손상된 레이블 정보를 기각하면서도 진정한 레이블 정보를 유지하는가?
• RQ3 결과로 도출된 표현은 분류기가 노이즈 레이블을 기억하는 데 본질적으로 저항할 수 있는가?
• RQ4 다양한 수준의 레이블 노이즈 하에서 CTRR의 성능은 표준 교차 엔트로피 및 다른 노이즈에 강건한 손실 함수와 비교해 어떻게 되는가?
• RQ5 CTRR는 기존의 레이블 보정 또는 노이즈에 강건한 손실 기법과 얼마나 잘 조합되어 정확도를 더욱 향상시킬 수 있는가?

주요 결과

• 80%의 레이블 노이즈가 존재하는 CIFAR-10에서, CTRR는 레이블 보정과 조합했을 때 85.40%의 정확도를 기록하며, 이를 적용하지 않은 기준 모델의 83.66%보다 뛰어나다.
• 60%의 레이블 노이즈 상황에서 CTRR는 레이블 보정과 조합했을 때 89.23%의 정확도를 기록했으며, 기준 방법의 87.34%보다 높다.
• 20% 및 40%의 노이즈가 존재하는 CIFAR-10에서 CTRR는 GCE 및 CTRR+GCE와 같은 기존 방법들을 초월하여 최신 기술 수준의 성능을 달성한다.
• 이론적 분석을 통해 CTRR에 의해 유도된 표현은 진정한 레이블 정보를 포함하지만 손상된 레이블에 대한 충분한 정보를 갖추지 못하므로 강건함을 입증한다.
• 실증 결과는 CTRR가 GCE 및 CTRR+GCE와 같은 기존의 레이블 보정 및 노이즈에 강건한 손실 함수와 효과적으로 조합되어 성능 향상을 이룰 수 있음을 보여준다.
• 기울기 분석을 통해 올바른 대비 쌍이 학습 과정을 지배하며, 잘못된 쌍이 표현 학습을 지배하는 것을 방지함을 확인한다.