[논문 리뷰] A Meta Approach to Defend Noisy Labels by the Manifold Regularizer PSDR

Pengfei Chen, Benben Liao외 2명|arXiv (Cornell University)|2019. 06. 13.

Machine Learning and Data Classification참고 문헌 23인용 수 5

한 줄 요약

이 논문은 데이터 증강을 통해 유사한 입력 쌍의 소프트맥스 출력 일관성을 강제함으로써 노이즈 있는 레이블에 대한 딥 네ural 네트워크의 강건성을 향상시키는 다양체 정규화 기법인 페어드 소프트맥스 다이버전스 정규화(PSDR)를 제안한다. 증강된 샘플의 예측 간 KL 발산을 최소화함으로써, PSDR는 샘플을 기각하지 않고도 모든 학습 데이터(노이즈 있는 레이블 포함)를 활용하여 최신 기술 수준의 성능을 달성한다. 예를 들어, 40% 노이즈가 있는 CIFAR-10에서 청소년 수준의 정확도를 달성한다.

ABSTRACT

Noisy labels are ubiquitous in real-world datasets, which poses a challenge for robustly training deep neural networks (DNNs) since DNNs can easily overfit to the noisy labels. Most recent efforts have been devoted to defending noisy labels by discarding noisy samples from the training set or assigning weights to training samples, where the weight associated with a noisy sample is expected to be small. Thereby, these previous efforts result in a waste of samples, especially those assigned with small weights. The input $x$ is always useful regardless of whether its observed label $y$ is clean. To make full use of all samples, we introduce a manifold regularizer, named as Paired Softmax Divergence Regularization (PSDR), to penalize the Kullback-Leibler (KL) divergence between softmax outputs of similar inputs. In particular, similar inputs can be effectively generated by data augmentation. PSDR can be easily implemented on any type of DNNs to improve the robustness against noisy labels. As empirically demonstrated on benchmark datasets, our PSDR impressively improve state-of-the-art results by a significant margin.

연구 동기 및 목표

• 기존 방법들이 노이즈 있는 샘플을 기각하거나 가중치를 낮추는 데서 비롯되는 한계를 해결함으로써, 학습 데이터가 감소하고 일반화 성능이 떨어지는 문제를 해결하고자 한다.
• 데이터 증강을 통한 입력 유사성 활용을 통해 노이즈 있는 레이블이 포함된 모든 학습 샘플을 최대한 활용할 수 있는 정규화 기법을 개발하고자 한다.
• 노이즈 있는 레이블로 훈련된 딥 네럴 네트워크의 일반화 성능을 향상시키기 위해, 유사한 입력에 대해 모델 예측의 매끄러움을 명시적으로 강제하고자 한다.
• 모든 딥 네럴 네트워크 아키텍처와 호환되며, 청소년 검증 세트나 복잡한 레이블 보정이 필요 없는 간단하고 즉시 적용 가능한 정규화 방법을 제공하고자 한다.
• 실증적으로 PSDR가 높은 노이즈 비율 하에서도 정확도를 크게 향상시켜 청소년 데이터셋 성능에 가까운 성능을 달성할 수 있음을 입증하고자 한다.

제안 방법

• PSDR는 데이터 증강을 통해 생성된 쌍의 입력에 대한 소프트맥스 출력 간 킬리버크-라이블러(KL) 발산을 최소화하는 다양체 정규화 기법을 도입한다.
• 데이터 증강을 통해 각 원본 샘플에 대해 여러 개의 유사한 입력을 생성하고, 이들 쌍을 양성 쌍으로 간주하여 일관된 예측이 이루어지도록 한다.
• 정규화 손실은 각 증강 쌍의 소프트맥스 출력 간 평균 KL 발산으로 계산되며, 기존의 교차 엔트로피 손실에 추가된다.
• 이 방법은 비지도 학습 기반이며, 레이블 품질에 대한 지식이 필요 없어, 아키텍처 수정 없이도 어떤 DNN 아키텍처에도 적용 가능하다.
• 이 방법은 유사한 입력 주변에서 모델의 결정 경계가 매끄럽게 유지되도록 암묵적으로 강제함으로써, 노이즈 있는 레이블에 대한 과적합을 줄인다.
• PSDR는 훈련 중에 추가 손실 항목으로 구현되어 기존의 노이즈에 강건한 훈련 방법과 쉽게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 잘못된 레이블이 포함된 샘플을 기각하거나 가중치를 낮추지 않고도 딥 네럴 네트워크의 노이즈 있는 레이블에 대한 강건성을 향상시킬 수 있는가?
• RQ2 데이터 증강을 통해 생성된 유사한 입력에 대해 예측 일관성을 강제하면 고노이즈 환경에서 일반화 성능이 향상되는가?
• RQ3 PSDR와 같은 단순하고 아키텍처 독립적인 정규화 항목이 노이즈 있는 레이블 환경에서 기존 최신 기술 수준의 방법들을 능가할 수 있는가?
• RQ4 증강된 쌍에 대해 KL 발산을 통한 명시적 다양체 정규화는 단순히 데이터 증강만으로 암묵적인 스무딩을 수행하는 것보다 노이즈 있는 레이블에 대한 과적합을 줄이는가?
• RQ5 청결한 검증 데이터가 없이도 PSDR이 극도로 높은 노이즈 비율(예: 50% 노이즈 레이블)에서도 벤치마크 데이터셋에서 청소년 수준의 성능을 달성할 수 있는가?

주요 결과

• PSDR는 40% 노이즈가 있는 CIFAR-10에서 청소년 수준의 성능을 달성하여, 잘못된 레이블이 포함된 모든 학습 샘플이 효과적으로 활용될 수 있음을 입증한다.
• CIFAR-10에서 대칭 노이즈 비율이 50%일 경우, ResNet-32는 PSDR를 통해 약 80%의 테스트 정확도를 달성하며, 표준 훈련 및 단순 데이터 증강만으로는 크게 열등하다.
• 다양한 노이즈 유형과 비율에서 여러 벤치마크 데이터셋(CIFAR-10, CIFAR-100)에서 최신 기술 수준의 기준 모델들을 일관되게 향상시킨다.
• 청결한 검증 세트가 필요 없이도 Co-teaching, MentorNet, Reweight와 같은 기존 방법들보다 유의미하게 뛰어난 성능을 보이며, 특히 성능 향상 폭이 크다.
• 제거 실험을 통해 PSDR의 명시적 정규화가 단순한 데이터 증강에 의한 암묵적 스무딩보다 더 효과적임을 확인하였으며, 특히 훈련 후반 단계에서 과적합을 방지하는 데 기여한다.
• 다양한 네트워크 아키텍처와 노이즈 패턴에 걸쳐 성능 향상이 안정적으로 유지되어, 제안된 정규화의 일반화 능력이 확인된다.