[논문 리뷰] PropMix: Hard Sample Filtering and Proportional MixUp for Learning with Noisy Labels

Filipe R. Cordeiro, Vasileios Belagiannis외 2명|arXiv (Cornell University)|2021. 10. 22.

Machine Learning and Data Classification인용 수 6

한 줄 요약

PropMix는 어려운 노이즈 샘플을 필터링하고 비례적 MixUp을 사용하여 강건성을 향상시킴으로써 노이즈 레이블 학습을 위한 새로운 훈련 프레임워크를 제안한다. 쉬운 노이즈 샘플을 재라벨링하고 통합된 집합에서 MixUp을 사용함으로써 PropMix는 CIFAR-10/100, WebVision, Red Mini-ImageNet에서 최신 기술 수준의 성능을 달성하며, 특히 높은 노이즈 비율에서 이전 방법들을 크게 능가한다.

ABSTRACT

The most competitive noisy label learning methods rely on an unsupervised classification of clean and noisy samples, where samples classified as noisy are re-labelled and "MixMatched" with the clean samples. These methods have two issues in large noise rate problems: 1) the noisy set is more likely to contain hard samples that are in-correctly re-labelled, and 2) the number of samples produced by MixMatch tends to be reduced because it is constrained by the small clean set size. In this paper, we introduce the learning algorithm PropMix to handle the issues above. PropMix filters out hard noisy samples, with the goal of increasing the likelihood of correctly re-labelling the easy noisy samples. Also, PropMix places clean and re-labelled easy noisy samples in a training set that is augmented with MixUp, removing the clean set size constraint and including a large proportion of correctly re-labelled easy noisy samples. We also include self-supervised pre-training to improve robustness to high noisy label scenarios. Our experiments show that PropMix has state-of-the-art (SOTA) results on CIFAR-10/-100(with symmetric, asymmetric and semantic label noise), Red Mini-ImageNet (from the Controlled Noisy Web Labels), Clothing1M and WebVision. In severe label noise bench-marks, our results are substantially better than other methods. The code is available athttps://github.com/filipe-research/PropMix.

연구 동기 및 목표

• 노이즈 레이블이 있는 반감독 학습에서 잘못 라벨링된 어려운 노이즈 샘플에 대한 과적합 문제를 해결한다.
• 특히 높은 노이즈 비율에서 깨끗한 데이터 세트 크기 제약으로 인해 제한되는 MixMatch의 한계를 극복한다.
• 어려운 노이즈 샘플을 제거하고 쉬운 노이즈 샘플을 정확하게 재라벨링하여 고노이즈 환경에서 모델의 강건성을 향상시킨다.
• 복잡한 손실 함수와 하이퍼파ram터에 대한 의존도를 줄이기 위해 필터링 및 재라벨링된 샘플에만 교차 엔트로피 손실을 사용한다.
• 주 훈련 단계 이전에 자기지도 학습을 통해 특징 표현과 모델 신뢰도를 향상시킨다.

제안 방법

• PropMix는 두 단계의 필터링 프로세스를 사용한다: 첫 번째로 손실 값으로 샘플을 깨끗한지 노이즈가 있는지 분류하고, 두 번째로 낮은 분류 신뢰도에 기반해 어려운 노이즈 샘플을 제거한다.
• 쉬운 노이즈 샘플은 모델 예측을 사용해 재라벨링되고 훈련 세트에 추가되어 깨끗한 샘플과 함께 통합된 세트를 형성한다.
• 통합된 훈련 세트는 MixUp을 통해 증강되며, 이는 깨끗한 샘플과 재라벨링된 쉬운 노이즈 샘플 간의 비례 혼합을 가능하게 하여 깨끗한 세트 크기 제약을 제거한다.
• 주 훈련 단계 이전에 SCAN을 사용한 자기지도 사전 훈련 단계를 적용하여 특징 표현과 모델 신뢰도를 향상시킨다.
• 최종 훈련은 필터링 및 증강된 훈련 세트에서 교차 엔트로피 손실만을 사용하여 훈련 파이프라인을 단순화하고 하이퍼파ram터 민감도를 감소시킨다.
• 재라벨링된 샘플에 평균 절대 오차(MAE) 손실을 사용하지 않고, 쉬운 샘플의 재라벨링 정확도가 높기 때문에 CE 손실만으로도 효과적인 훈련이 가능하다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 어려운 노이즈 샘플을 제거함으로써 과적합을 줄이고 재라벨링 정확도를 향상시킬 수 있는가?
• RQ2 MixMatch에서 깨끗한 세트 크기 제약을 제거함으로써 고노이즈 비율에서 성능 향상이 이루어지는가?
• RQ3 필터링 및 재라벨링된 샘플에 간단한 교차 엔트로피 손실이 MAE와 같은 더 복잡한 손실 함수보다 고노이즈 환경에서 더 나은 성능을 내는가?
• RQ4 어려운 샘플 필터링과 MixUp과 함께 자기지도 사전 훈련이 노이즈 레이블 학습에서 강건성을 어떻게 향상시키는가?
• RQ5 PropMix가 대칭, 비대칭, 의미적 레이블 노이즈를 포함한 벤치마크에서 기존 최신 기술 수준의 방법들을 얼마나 뛰어넘는가?

주요 결과

• 대칭 노이즈 비율 90%인 CIFAR-10에서 PropMix는 78.84%의 top-1 정확도를 달성하여 이전 최신 기술 수준인 DivideMix(77.78%)를 1.06%포인트 뛰어넘었다.
• 대칭 노이즈 비율 90%인 CIFAR-100에서 PropMix는 94.9%의 top-1 정확도를 기록하여 DivideMix(93.4%)와 다른 기준선들을 크게 앞서며 뚜렷한 우월성을 보였다.
• 80% 레이블 노이즈가 있는 Red Mini-ImageNet에서 PropMix는 61.24%의 top-1 정확도를 기록하여 다음으로 좋은 방법인 FaMUS(51.42%)보다 뚜렷한 개선을 이뤘다.
• 80% 노이즈가 있는 WebVision에서 PropMix는 43.42%의 top-1 정확도를 기록하여 DivideMix(34.50%)와 FaMUS(35.50%)를 8% 이상 뛰어넘었다.
• 절단 실험에서 MAE 손실을 CE 손실로 대체해도 PropMix는 강력한 성능 유지를 보였으며, 이는 쉬운 샘플의 정확한 재라벨링이 높은 성능을 달성하는 데 충분함을 보여준다.
• 복잡한 손실 함수나 광범위한 하이퍼파ram터 튜닝에 의존하지 않고도 모든 벤치마크에서 최신 기술 수준의 성능을 달성하여, 그 강건성과 단순성의 우수성을 입증했다.