[논문 리뷰] Is your noise correction noisy? PLS: Robustness to label noise with two stage detection

Paul S. Albert, Eric Arazo외 3명|arXiv (Cornell University)|2022. 10. 10.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 잘못된 의사 레이블을 필터링하기 위해 새로운 메트릭인 의사 손실(pseudo-loss)을 사용하는 두 단계 방법인 의사 손실 선택(Pseudo-Loss Selection, PLS)을 제안한다. 이 의사 손실은 의사 레이블의 정확성과 강하게 상관관계를 가지며, 확률적 오차 보정에 기여한다. 동적으로 신뢰도가 낮은 보정 사례의 영향도를 낮추고, 신뢰도에 기반한 대비 목적함수를 사용함으로써, PLS는 합성 및 실제 레이블 노이즈 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 분포 내 및 분포 외 노이즈 환경 모두에서 기존 방법을 능가한다.

ABSTRACT

Designing robust algorithms capable of training accurate neural networks on uncurated datasets from the web has been the subject of much research as it reduces the need for time consuming human labor. The focus of many previous research contributions has been on the detection of different types of label noise; however, this paper proposes to improve the correction accuracy of noisy samples once they have been detected. In many state-of-the-art contributions, a two phase approach is adopted where the noisy samples are detected before guessing a corrected pseudo-label in a semi-supervised fashion. The guessed pseudo-labels are then used in the supervised objective without ensuring that the label guess is likely to be correct. This can lead to confirmation bias, which reduces the noise robustness. Here we propose the pseudo-loss, a simple metric that we find to be strongly correlated with pseudo-label correctness on noisy samples. Using the pseudo-loss, we dynamically down weight under-confident pseudo-labels throughout training to avoid confirmation bias and improve the network accuracy. We additionally propose to use a confidence guided contrastive objective that learns robust representation on an interpolated objective between class bound (supervised) for confidently corrected samples and unsupervised representation for under-confident label corrections. Experiments demonstrate the state-of-the-art performance of our Pseudo-Loss Selection (PLS) algorithm on a variety of benchmark datasets including curated data synthetically corrupted with in-distribution and out-of-distribution noise, and two real world web noise datasets. Our experiments are fully reproducible github.com/PaulAlbert31/SNCF

연구 동기 및 목표

• 예측의 순환적 강화에 기인한 확인 편향 확인 편향으로 인해 잘못된 의사 레이블이 모델 성능을 떨어뜨리는 레이블 노이즈 보정의 핵심적 격차를 해결하기 위해.
• 두 단계 레이블 노이즈 완화 파이프라인에서 의사 레이블 보정의 정확도를 향상시키기 위해.
• 기존의 반감독 학습 방법에서 사용하는 신뢰도 기반 임계값을 초월하는 정확한 의사 레이블을 식별할 수 있는 신뢰할 수 있는 메트릭을 개발하기 위해.
• 의사 레이블 신뢰도에 따라 감독 학습과 비감독 학습 간에 적응하는 대비 목적함수를 설계하기 위해.
• 다양한 노이즈 유형을 가진 합성 데이터셋과 실제 웹 크롤링 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 의사 레이블의 정확성이 높을 가능성을 정량화하는 새로운 메트릭인 의사 손실(pseudo-loss)을 제안하며, 이는 실제 정확성과 강한 상관관계를 보임.
• 의사 손실을 활용해 저신뢰도 의사 레이블에 대해 학습 업데이트의 영향도를 동적으로 낮춰 최적화 과정에서 확인 편향을 완화함.
• 신뢰도에 기반한 가중 평균 대비 목적함수를 도입하여, 신뢰도가 높은 의사 레이블에 대해서는 감독 대비 학습을, 낮은 경우는 비감독 대비 학습을 통합함.
• 두 단계 프레임워크를 적용: 먼저 기존 방법을 사용해 노이즈 있는 샘플을 탐지하고, 이후 의사 손실을 통해 잘못된 보정을 필터링함.
• 첫 번째 단계에서 훈련 손실에 대한 혼합 모델을 적용해 노이즈 있는 샘플을 탐지하고, 이후 일致성 정규화를 통해 의사 레이블 생성.
• 교차 엔트로피 분류와 가중 평균 대비 목적함수를 동시에 최적화하는 공동 목표함수를 사용해 강건한 표현을 학습하는 신경망을 훈련함.

실험 결과

연구 질문

• RQ1 예측 신뢰도 외의 메트릭이 노이즈 있는 레이블 보정에서 정확한 의사 레이블을 신뢰성 있게 식별할 수 있는가?
• RQ2 의사 손실을 사용해 잘못된 의사 레이블을 필터링함으로써 확인 편향이 감소하고, 노이즈 있는 데이터셋에서 모델 정확도가 향상되는가?
• RQ3 일부 의사 레이블이 잘못된 경우, 제안된 가중 평균 대비 목적함수는 표현 학습에 어떻게 기여하는가?
• RQ4 PLS 방법은 실제 웹 크롤링 데이터셋에서 분포 내 및 분포 외 노이즈 모두에 일반화되는가?
• RQ5 앙상블 기법이나 레이블 스무딩에 의존하지 않고도 PLS가 최신 기술 수준 성능을 달성할 수 있는가?

주요 결과

• PLS는 레이블 스무딩이나 앙상블 기법 없이도 합성 분포 내 노이즈가 있는 CIFAR-100에서 최신 기술 수준 정확도를 달성하며, 기존 방법을 능가한다.
• 혼합 분포 내 및 분포 외 노이즈가 있는 CIFAR-100에서, PLS는 분포 외 이미지에 낮은 의사 손실 값을 할당하여 잘못된 보정을 효과적으로 방지함.
• 제어된 웹 손상 실험(CNWL)에서, PLS는 SNCF와 같은 최신 기술 수준 방법보다 뛰어난 성능을 보이며, 단일 네트워크와 자율 학습 전처리 없이도 성능을 달성함.
• 실제 웹 크롤링 데이터셋(Web-aircraft, Web-bird, Web-car)에서 PLS는 앙성 및 공학 학습 방법과 동등하거나 이를 초월하는 성능을 보이며 강력한 일반화 능력을 입증함.
• 다양한 벤치마크와 노이즈 유형에서 전통적인 신뢰도 기반 임계값에 비해 의사 손실 메트릭이 정확한 의사 레이블 식별에 훨씬 뛰어남을 검증함.
• 절단 실험을 통해 가중 평균 대비 목적함수와 의사 손실 필터링이 PLS의 성능 향상에 필수적인 구성 요소임을 확인함.