[논문 리뷰] SSR: An Efficient and Robust Framework for Learning with Unknown Label Noise

Feng Chen, Georgios Tzimiropoulos외 1명|arXiv (Cornell University)|2021. 11. 22.

Machine Learning and Data Classification참고 문헌 45인용 수 9

한 줄 요약

이 논문은 알려지지 않은 레이블 노이즈(LULN) 환경에서 학습하기 위한 단순하면서도 강력한 프레임워크인 SSR을 제안한다. 여기서 노이즈 유형과 정도는 모두 명시되지 않는다. 이는 청소년 샘플 선택을 위해 비모수적 KNN 분류기와 반복적인 노이즈 샘플 재라벨링을 위한 모수적 모델을 사용하며, 사전 학습이나 준지도 학습 없이도 CIFAR-10/100에 대한 합성 노이즈와 웹비전, 클로딩1M, ANIMAL-10N과 같은 실제 데이터셋에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Despite the large progress in supervised learning with neural networks, there are significant challenges in obtaining high-quality, large-scale and accurately labelled datasets. In such a context, how to learn in the presence of noisy labels has received more and more attention. As a relatively complex problem, in order to achieve good results, current approaches often integrate components from several fields, such as supervised learning, semi-supervised learning, transfer learning and resulting in complicated methods. Furthermore, they often make multiple assumptions about the type of noise of the data. This affects the model robustness and limits its performance under different noise conditions. In this paper, we consider a novel problem setting, Learning with Unknown Label Noise}(LULN), that is, learning when both the degree and the type of noise are unknown. Under this setting, unlike previous methods that often introduce multiple assumptions and lead to complex solutions, we propose a simple, efficient and robust framework named Sample Selection and Relabelling(SSR), that with a minimal number of hyperparameters achieves SOTA results in various conditions. At the heart of our method is a sample selection and relabelling mechanism based on a non-parametric KNN classifier~(NPK) $g_q$ and a parametric model classifier~(PMC) $g_p$, respectively, to select the clean samples and gradually relabel the noisy samples. Without bells and whistles, such as model co-training, self-supervised pre-training and semi-supervised learning, and with robustness concerning the settings of its few hyper-parameters, our method significantly surpasses previous methods on both CIFAR10/CIFAR100 with synthetic noise and real-world noisy datasets such as WebVision, Clothing1M and ANIMAL-10N. Code is available at https://github.com/MrChenFeng/SSR_BMVC2022.

연구 동기 및 목표

• 알려지지 않은 레이블 노이즈 하에서 딥 네ural 네트워크를 훈련하는 데 도전하는 것, 여기서 노이즈 유형과 정도는 모두 명시되지 않는다.
• 자기주도적 사전 학습이나 공동 훈련과 같은 복잡한 구성 요소에 의존하지 않고도 하이퍼파라미터 설정에 대해 강건한 방법을 개발하는 것.
• 노이즈 패턴을 명시적으로 모델링하지 않고도 샘플 선택과 반복적 재라벨링을 조합하여 노이즈가 있는 데이터셋에서 일반화와 정확도를 향상시키는 것.
• 대칭, 비대칭, 그리고 병합된 오픈세트 및 클로즈드세트 노이즈를 포함한 다양한 노이즈 설정에서 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• SSR은 k개의 가장 가까운 이웃과의 레이블 일致성 기반으로 청소년 샘플을 식별하기 위해 비모수적 KNN 분류기(NPK)를 사용한다.
• 모수적 모델 분류기(PMC)는 예측을 생성하고 높은 신뢰도 예측 기반으로 노이즈가 있는 샘플을 반복적으로 재라벨링하는 데 사용된다.
• 이 프레임워크는 이중 단계 과정을 사용한다: 첫째, NPK를 통해 청소년 샘플을 선택한다; 둘째, PMC의 확신 있는 예측을 사용하여 노이즈가 있는 샘플을 재라벨링한다.
• 특징 일관성 손실은 오픈세트 노이즈에 대한 강건성을 향상시키기 위해 선택적으로 적용되며, 특징 표현의 일관성을 장려한다.
• 모델 공동 훈련, 자기주도적 사전 학습, 또는 준지도 학습과 같은 복잡한 구성 요소를 피하고, 오직 교차 엔트로피 손실과 반복적 개선에 의존한다.
• 하이퍼파라미터는 최소화되고 강건하며, 다양한 노이즈 조건에서 값에 민감하지 않음을 확인하는 아블레이션 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 알려지지 않은 레이블 노이즈에서 복잡한 최신 기술 수준의 방법보다 단순한 프레임워크가 성능을 뛰어넘을 수 있는가?
• RQ2 제안된 샘플 선택 및 재라벨링 메커니즘이 알려지지 않은 노이즈 유형과 다양한 노이즈 수준에서 어떻게 작동하는가?
• RQ3 준지도 학습이나 사전 학습 없이도 실제 노이즈가 있는 데이터셋에서 성능이 저하되는가?
• RQ4 다양한 노이즈 설정에서 하이퍼파라미터 설정에 대해 이 방법이 얼마나 강건한가?
• RQ5 기존 방법이 실패하기 쉬운 병합된 오픈세트 및 클로즈드세트 노이즈 상황에서 이 프레임워크는 어떻게 대처하는가?

주요 결과

• CIFAR-10에서 대칭 노이즈 비율 90% 조건에서 SSR은 96.3%의 top-1 정확도를 달성하여 이전 최신 기술 수준 방법보다 뚜렷한 격차로 뛰어넘었다.
• CIFAR-100에서 대칭 노이즈 비율 90% 조건에서 SSR은 95.2%의 정확도를 기록하여 이전 최고 성능 방법보다 1.5퍼센트 이상 뛰어났다.
• 어려운 병합 노이즈 설정(0.5 오픈세트, 1.0 클로즈드세트 노이즈)에서 CIFAR-10에서 SSR은 95.7%의 top-1 정확도를 기록했으며, EDM(94.0%)와 DivideMix(91.8%)를 모두 앞섰다.
• 실제 웹비전 데이터셋에서 SSR+는 80.92%의 top-1 정확도를 기록했으며, Co-teaching(63.58%)와 DivideMix(77.32%)를 모두 초월했다.
• ANIMAL-10N에서 SSR+는 88.5%의 top-1 정확도를 기록했으며, SELFIE(79.4%), PLC(81.8%), NCT(83.4%)를 모두 앞섰다.
• 아블레이션 연구는 SSR이 하이퍼파라미터 값에 대해 강건하며, 준지도 학습이나 사전 학습 없이도 강력한 성능 유지를 유지함을 확인했다.