[논문 리뷰] Robust Learning Under Label Noise With Iterative Noise-Filtering

Duc Tam Nguyen, Thi-Phuong-Nhung Ngo외 4명|arXiv (Cornell University)|2019. 06. 01.

Machine Learning and Data Classification참고 문헌 25인용 수 16

한 줄 요약

이 논문은 반복적으로 노이즈 있는 레이블을 걸러내면서도 모든 샘플을 준수하는 반복적 학습 프레임워크인 IF-SSL을 제안한다. 반복적 레이블 필터링과 무 supervision 손실을 기반으로 한 메인 티처를 결합함으로써, CIFAR-10과 CIFAR-100에서 극단적인 레이블 노이즈(80% 노이즈 비율) 조건 하에서도 기존 방법보다 최대 20%의 정확도 향상을 달성하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We consider the problem of training a model under the presence of label noise. Current approaches identify samples with potentially incorrect labels and reduce their influence on the learning process by either assigning lower weights to them or completely removing them from the training set. In the first case the model however still learns from noisy labels; in the latter approach, good training data can be lost. In this paper, we propose an iterative semi-supervised mechanism for robust learning which excludes noisy labels but is still able to learn from the corresponding samples. To this end, we add an unsupervised loss term that also serves as a regularizer against the remaining label noise. We evaluate our approach on common classification tasks with different noise ratios. Our robust models outperform the state-of-the-art methods by a large margin. Especially for very large noise ratios, we achieve up to 20 % absolute improvement compared to the previous best model.

연구 동기 및 목표

• 깊이 있는 학습 모델을 고도의 레이블 노이즈 환경에서 훈련하는 데 도전하는 것 — 노이즈 있는 레이블은 모델의 일반화 능력과 정확도를 떨어뜨린다.
• 기존 방법의 한계를 극복하는 것 — 노이즈 있는 레이블을 그대로 유지하면 과적합의 위험이 있고, 전체 샘플을 제거하면 유용한 데이터를 손실하게 된다.
• 모든 입력 샘플을 유지하면서 오직 노이즈 있는 레이블만 제외하는 훈련 파이프라인 개발을 통해 강건성을 향상시키는 것.
• 추가적인 모델 구성 요소나 복잡한 재학습 메커니즘 없이도 효과적인 레이블 노이즈 필터링을 가능하게 하는 것.
• 다양한 아키텍처와 노이즈 비율에서 일관된 성능 향상을 보이며, 특히 극단적인 노이즈 조건에서의 성능 향상을 입증하는 것.

제안 방법

• 반복적 필터링 적용: 각 훈련 에포크마다 모델 예측의 이동 평균을 사용하여 신뢰도가 낮거나 일관성이 없는 레이블을 식별하고 제거한다.
• 모든 입력 샘플을 훈련 세트에 유지하며, 레이블 필터링 이후에도 준지도 학습을 위해 비라벨 데이터로 간주한다.
• 메인 티처 모델을 강력한 정규화 요소로 활용: 교사 네트워크의 예측은 시간에 따라 평균화되어 학생 네트워크를 지도한다.
• 필터링된 레이블에 대한 지도 학습 손실과 모든 샘플(노이즈가 있을 수 있는 샘플 포함)에 대한 무 supervision 손실을 결합하며, 엔트로피 최소화와 일관성 정규화를 사용한다.
• 검증 세트에서 더 이상 성능 향상이 관찰되지 않을 경우 반복 프로세스를 중단하여 수렴을 보장한다.
• 시간에 따른 앙상블 예측을 활용하여 필터링의 신뢰성을 향상시키고, 잘못된 레이블 제거(거짓 양성)를 줄인다.

실험 결과

연구 질문

• RQ1 입력 샘플을 제거하지 않고도 반복적 노이즈 레이블 필터링이, 기존 방법들(예: 레이블 재가중 또는 샘플 제거)보다 더 뛰어난 강건성을 제공할 수 있는가?
• RQ2 반복적 레이블 필터링과 준지도 학습을 조합함으로써 고노이즈 비율 환경에서 성능 향상이 어떻게 이루어지는가?
• RQ3 메인 티처 모델을 정규화 요소로 사용할 경우, 다른 무 supervision 손실 전략보다 더 효과적으로 강건성을 향상시킬 수 있는가?
• RQ4 레이블 노이즈 비율이 50%를 초과할 경우, 제안된 방법이 성능 저하를 얼마나 줄일 수 있는가?
• RQ5 아키텍처 수정 없이도 다양한 신경망 아키텍처에 대해 일반화 가능한가?

주요 결과

• 제안된 IF-SSL 프레임워크는 CIFAR-10에서 80%의 레이블 노이즈 조건 하에서도 93.7%의 테스트 정확도를 달성하여 이전 최신 기술 수준보다 19%p의 절대적 향상을 보였다.
• CIFAR-100에서도 80% 노이즈 조건에서 IF-SSL은 42.09%의 정확도를 기록하여 기존 최고의 방법보다 20%p의 절대적 향상을 달성했다.
• 반복적 필터링은 다양한 아키텍처 간의 성능 격차를 크게 줄였다: ResNet18과 ResNet26는 필터링 후 거의 동일한 성능을 보이며 일반화 능력 향상을 확인했다.
• 반복적 필터링과 함께 메인 티처 손실은 엔트로피 손실, 푸시어웨이 손실 등 다른 무 supervision 손실 전략보다 더 뛰어난 성능을 보였으며, 특히 고노이즈 환경에서 두드러졌다.
• 노이즈가 있을 수 있는 샘플들까지 모두 준지도 학습에 활용할 경우, 그들을 제거하는 것보다 훨씬 뛰어난 성능 향상을 보였으며, 이는 아블레이션 연구를 통해 입증되었다.
• 이 방법은 다양한 아키텍처에 대해 강건하며, ResNet101는 과적합으로 인해 필터링의 이점을 덜 느꼈지만, IF-SSL과 결합했을 때도 측정 가능한 성능 향상을 보였다.