[논문 리뷰] SemiNLL: A Framework of Noisy-Label Learning by Semi-Supervised Learning

Zhuowei Wang, Jing Jiang외 5명|arXiv (Cornell University)|2020. 12. 02.

Machine Learning and Data Classification참고 문헌 52인용 수 10

한 줄 요약

이 논문은 레이블 노이즈 하에서 딥 러닝 성능을 향상시키기 위해 샘플 선택(SS) 전략과 준감독학습(SSL) 백본을 종단간 방식으로 통합하는 유연한 프레임워크인 SemiNLL을 제안한다. 강력한 SS 방법(예: DivideMix+ 및 GPL)과 다양한 SSL 모델을 유연하게 조합함으로써 시뮬레이션된 데이터셋과 실제 노이즈가 있는 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, Clothing1M에서 74.14%의 테스트 정확도를 기록한다.

ABSTRACT

Deep learning with noisy labels is a challenging task. Recent prominent methods that build on a specific sample selection (SS) strategy and a specific semi-supervised learning (SSL) model achieved state-of-the-art performance. Intuitively, better performance could be achieved if stronger SS strategies and SSL models are employed. Following this intuition, one might easily derive various effective noisy-label learning methods using different combinations of SS strategies and SSL models, which is, however, reinventing the wheel in essence. To prevent this problem, we propose SemiNLL, a versatile framework that combines SS strategies and SSL models in an end-to-end manner. Our framework can absorb various SS strategies and SSL backbones, utilizing their power to achieve promising performance. We also instantiate our framework with different combinations, which set the new state of the art on benchmark-simulated and real-world datasets with noisy labels.

연구 동기 및 목표

• 레이블 노이즈로 인해 모델 성능이 심각하게 저하되는 문제를 해결한다.
• 특정 SS 전략과 SSL 모델을 별도로 반복적으로 재발명하는 데서 비효율성과 중복을 해결한다.
• 다양한 SS 전략과 SSL 백본을 원활하게 통합할 수 있는 일반화 가능한 프레임워크를 개발하여 뛰어난 성능을 달성한다.
• 프레임워크 내부에서 더 강력한 개별 구성 요소(즉, SS 및 SSL)를 조합할수록 전체 성능이 향상됨을 입증한다.

제안 방법

• 노이즈 있는 레이블 학습을 위한 샘플 선택(SS)과 준감독학습(SSL)을 종단간 방식으로 통합하는 엔드 투 엔드 프레임워크인 SemiNLL을 제안한다.
• 기존 연구에서 사용된 에포크 수준 선택 방식과는 달리, 낮은 손실을 기반으로 동적으로 클린 샘플을 선택하는 미니배치 수준의 SS 전략을 도입한다.
• 자기 예측 분할기, 혼합 정규분포 모델(GMM) 등의 다양한 SS 전략을 믹스매치, 가짜 레이블링, 시간적 앙상블 등의 다수의 SSL 백본과 통합한다.
• 두 가지 새로운 방법을 프레임워크에 적용한다: DivideMix+, 미니배치 SS 전략과 믹스매치 SSL 백본을 조합한 방법; GPL, 두 개의 구성 요소로 이루어진 GMM을 사용한 선택 전략과 가짜 레이블링을 SSL 백본으로 사용한 방법.
• 일반화 성능 향상을 위해 SSL 백본 내부에서 일致성 정규화, 엔트로피 최소화 및 데이터 증강(예: MixUp)을 활용한다.
• 선택된 클린 샘플에 대한 교차 엔트로피와 미분된 샘플에 대한 일치성/엔트로피 정규화를 조합한 공동 목적 함수를 사용해 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 다양한 샘플 선택 전략과 준감독학습 백본을 효과적으로 통합하는 통합 프레임워크가 노이즈 있는 레이블 학습에서 성능 향상에 기여할 수 있는가?
• RQ2 고노이즈 비율 조건에서, 미니배치 수준의 샘플 선택 전략이 기존의 에포크 수준 선택 전략보다 정확도와 강건성 측면에서 어떻게 우월한가?
• RQ3 고도로 발전된 SS 전략과 함께 사용될 때, 더 강력한 SSL 백본(예: 믹스매치, 가짜 레이블링)이 성능 향상에 얼마나 기여하는가?
• RQ4 기존 최고 성능 기법들과 비교해 실제 노이즈가 있는 데이터셋(예: Clothing1M)에서 프레임워크는 어떤 성능을 보이는가?
• RQ5 고노이즈 비율 조건에서 비대칭 노이즈 설정에서, 혼합 정규분포 모델(GMM) 기반 선택 전략과 자기 예측 기반 선택 전략 간의 영향은 어떠한가?

주요 결과

• DivideMix+는 Clothing1M 데이터셋에서 74.14%의 테스트 정확도를 기록하여 원래의 DivideMix 및 기타 최신 기술 수준(SOTA) 방법들을 능가한다.
• CIFAR-100에서 대칭 노이즈 비율 80% 조건에서 DivideMix+는 자기 예측 분할기를 사용하는 DivideMix-보다 +12.69%의 정확도 향상을 보이며, 고노이즈 조건에서 GMM 기반 선택 전략의 우수성을 입증한다.
• GPL은 두 개의 구성 요소로 이루어진 GMM을 사용한 샘플 선택과 가짜 레이블링을 SSL 백본으로 사용하여, 특히 고노이즈 환경에서 뛰어난 성능을 기록한다.
• CIFAR-100에서 80% 노이즈 조건에서 SPD-가짜 레이블링(자기 예측 분할기와 가짜 레이블링 조합)은 SPD-믹스매치 대비 21.44% 높은 테스트 정확도를 기록했으며, SPD-시간적 앙상블 대비 42.66% 높은 정확도를 기록했다.
• SSL 백본을 제거한 경우(즉, 교차 엔트로피를 통해 클린 샘플만으로 훈련) 성능이 급격히 저하되며, 특히 고노이즈 조건이나 클래스 수가 많은 데이터셋에서 이 현상이 두드러지게 나타나, 미분된 데이터를 활용하는 것이 매우 중요함을 시사한다.
• SemiNLL에서 사용된 미니배치 SS 전략은 고노이즈 비율 조건에서 특히 도전적인 환경에서도 DivideMix에서 사용된 에포크 수준 전략보다 일관되게 뛰어난 성능을 보였다.