[논문 리뷰] An Ensemble Noise-Robust K-fold Cross-Validation Selection Method for Noisy Labels

Yong Wen, Marcus Kalander외 2명|arXiv (Cornell University)|2021. 07. 06.

Machine Learning and Data Classification참고 문헌 27인용 수 4

한 줄 요약

이 논문은 모델의 공감과 엔트로피 기반 레이블 재가중 기법을 활용해 노이즈가 있는 데이터셋에서 청소년 샘플을 선택하는 앙상블 노이즈 내성 K-폴드 교차검증 방법인 E-NKCVS를 제안한다. 이미지 및 텍스트 분류 작업에서 최신 기술을 초월하며, Clothing-1M에서 75.0%의 정확도와 WebVision에서 77.6%의 정확도를 기록했으며, 높은 노이즈 비율에서도 일관된 성능 향상을 보이고 청소년 데이터에서의 성능 저하도 최소화한다.

ABSTRACT

We consider the problem of training robust and accurate deep neural networks (DNNs) when subject to various proportions of noisy labels. Large-scale datasets tend to contain mislabeled samples that can be memorized by DNNs, impeding the performance. With appropriate handling, this degradation can be alleviated. There are two problems to consider: how to distinguish clean samples and how to deal with noisy samples. In this paper, we present Ensemble Noise-robust K-fold Cross-Validation Selection (E-NKCVS) to effectively select clean samples from noisy data, solving the first problem. For the second problem, we create a new pseudo label for any sample determined to have an uncertain or likely corrupt label. E-NKCVS obtains multiple predicted labels for each sample and the entropy of these labels is used to tune the weight given to the pseudo label and the given label. Theoretical analysis and extensive verification of the algorithms in the noisy label setting are provided. We evaluate our approach on various image and text classification tasks where the labels have been manually corrupted with different noise ratios. Additionally, two large real-world noisy datasets are also used, Clothing-1M and WebVision. E-NKCVS is empirically shown to be highly tolerant to considerable proportions of label noise and has a consistent improvement over state-of-the-art methods. Especially on more difficult datasets with higher noise ratios, we can achieve a significant improvement over the second-best model. Moreover, our proposed approach can easily be integrated into existing DNN methods to improve their robustness against label noise.

연구 동기 및 목표

• 높은 비율의 노이즈 레이블을 포함한 데이터셋에서 딥 네ural 네트워크를 훈련시키는 데서 발생하는 일반화 능력 저하 문제를 해결하기 위해.
• 보조 청소년 데이터가 필요 없이 노이즈가 있는 데이터에서 청소년 샘플을 효과적으로 식별하고 선택할 수 있는 방법을 개발하기 위해.
• 예측 불확실성에 기반해 진정 레이블과 가짜 레이블 간의 신뢰도를 동적으로 조정하는 레이블 재가중 기법을 설계하기 위해.
• 다양한 노이즈 수준에 대해 강건하며 기존 DNN 프레임워크에 쉽게 통합 가능한 방법을 확보하기 위해.

제안 방법

• E-NKCVS는 서로 다른 데이터 분할에서 다수의 모델을 훈련하기 위해 K-폴드 교차검증을 사용하며, 다양한 폴드 간 예측을 통합해 레이블 일관성을 평가한다.
• 다양한 폴드 간에 일관된 예측 레이블을 가진 샘플은 청소년으로 간주하고 선택하고, 일관성이 없는 예측을 보이는 샘플은 잠재적으로 노이즈가 있는 것으로 표시한다.
• 노이즈가 있거나 예측 불확실성이 높은 샘플의 경우, 주어진(노이즈가 있는) 레이블과 앙상블 예측에서 생성된 가짜 레이블을 조합하여 하이브리드 레이블을 형성한다.
• 가짜 레이블에 할당되는 가중치는 앙상블 예측의 엔트로피에 의해 결정되며, 낮은 엔트로피는 가짜 레이블에 대한 높은 신뢰도를 의미한다.
• 훈련 중에 믹스업 데이터 증강 기법을 적용하여 강건성과 일반화 능력을 향상시킨다.
• 이 방법은 기존 DNN 아키텍처와 손실 함수와의 호환성을 고려해 플러그 앤 플레이 방식으로 설계되어 있다.

실험 결과

연구 질문

• RQ1 앙성 K-폴드 교차검증 접근법이 고도로 노이즈가 있는 레이블을 포함한 데이터셋에서 청소년 샘플을 효과적으로 식별할 수 있는가?
• RQ2 진정 레이블이 신뢰할 수 없을 때 엔트로피 기반 레이블 재가중 기법이 모델 성능을 어떻게 향상시키는가?
• RQ3 E-NKCVS는 높은 노이즈 비율에서 정확도를 크게 향상시키면서도 청소년 데이터에서 높은 성능을 유지하는가?
• RQ4 실제 노이즈가 있는 데이터셋인 Clothing-1M 및 WebVision에서 E-NKCVS는 최신 기술 대비 어떻게 비교되는가?

주요 결과

• Clothing-1M에서 E-NKCVS는 75.0%의 테스트 정확도를 기록했으며, 이는 이전 최신 기술을 뛰어넘고 표준 교차엔트로피 손실(69.0%)을 초월한다.
• (미니) WebVision에서 E-NKCVS는 77.6%의 정확도를 달성했으며, 이는 이전 최신 기술을 약간 상회하고 DivideMix(77.3%)와 같은 강력한 베이스라인을 뛰어넘는다.
• 40%의 비대칭 레이블 노이즈가 있는 CIFAR-100에서 E-NKCVS는 두 번째로 우수한 모델보다도 뚜렷한 성능 향상을 보이며, 도전적인 데이터셋에서 강력한 내성을 입증한다.
• 레이블 노이즈가 존재하지 않을 경우(ε=0), E-NKCVS는 표준 교차엔트로피와 거의 동일한 테스트 정확도를 유지하여 청소년 데이터에 대한 부정적 영향이 최소화됨을 시사한다.
• 이 방법은 합성 대칭 및 비대칭 노이즈, 실세계 레이블 노이즈를 포함한 다양한 데이터셋과 노이즈 유형에서 일관된 성능 향상을 보였다.
• 광범위한 하이퍼파rameter 분석을 통해 이 방법은 다양한 네트워크 아키텍처와 훈련 설정에서 강건성과 유연성을 입증했다.