[논문 리뷰] Combating noisy labels by agreement: A joint training method with co-regularization

Hongxin Wei, Lei Feng외 2명|arXiv (Cornell University)|2020. 03. 05.

Machine Learning and Data Classification참고 문헌 44인용 수 67

한 줄 요약

JoCoR는 감독 학습과 공-정규화를 결합한 공동 손실로 두 네트워크를 훈련시켜 일치를 최대화하고, 작은 손실 선택을 사용하며, MNIST, CIFAR, Clothing1M에서 노이즈가 있는 라벨에 대한 견고성을 향상시킵니다.

ABSTRACT

Deep Learning with noisy labels is a practically challenging problem in weakly supervised learning. The state-of-the-art approaches "Decoupling" and "Co-teaching+" claim that the "disagreement" strategy is crucial for alleviating the problem of learning with noisy labels. In this paper, we start from a different perspective and propose a robust learning paradigm called JoCoR, which aims to reduce the diversity of two networks during training. Specifically, we first use two networks to make predictions on the same mini-batch data and calculate a joint loss with Co-Regularization for each training example. Then we select small-loss examples to update the parameters of both two networks simultaneously. Trained by the joint loss, these two networks would be more and more similar due to the effect of Co-Regularization. Extensive experimental results on corrupted data from benchmark datasets including MNIST, CIFAR-10, CIFAR-100 and Clothing1M demonstrate that JoCoR is superior to many state-of-the-art approaches for learning with noisy labels.

연구 동기 및 목표

• 감독형 딥러닝에서 학습 라벨이 노이즈일 때 견고한 학습을 동기 부여합니다.
• Co-regularization을 통해 두 분류기 간의 발산을 줄이는 공동 학습 패러다임을 제안합니다.
• 일치 기반 정규화와 작은 손실 샘플 선택이 벤치마크 노이즈 라벨 데이터셋에서 성능을 향상시킵니다.
• Co-regularization과 공동 학습의 영향을 고립시키기 위한 애블레이션 실험을 제시합니다.

제안 방법

• 두 네트워크는 서로 다른 초기화로 공동으로 학습되며, 감독 손실과 공-정규화 항을 결합한 단일 손실 함수를 사용합니다.
• 감독 손실은 주어진 (가능한 노이즈가 있는) 라벨에 대해 두 네트워크의 교차 엔트로피 손실의 합입니다.
• 공-정규화는 두 네트워크의 예측 분포 간의 대칭 KL 발산(JS 발산 대리)을 구현합니다.
• 작은 손실 선택은 배치에서 가장 작은 공동 손실을 가진 샘플의 하위 집합을 선택하여 수행됩니다.
• 노이즈 데이터에 대한 과적합을 완화하기 위해 보유 비율 R(t)를 에포크에 따라 스케줄링합니다.
• 훈련은 양방향 업데이트가 아닌 공통적으로 업데이트되는 파seudo-siamese 패러다임을 따릅니다.
• 이 접근법은 MNIST, CIFAR-10, CIFAR-100, Clothing1M에서 합성 및 실제 노이즈 라벨로 평가됩니다.

실험 결과

연구 질문

• RQ1 노이즈 라벨 학습에서 disagreement 기반 업데이트의 필요성을 제거하기 위해 두 분류기 간의 일치 기반 정규화가 효과적인가?
• RQ2 Co-regularization이 포함된 공동 학습이 기존의 불일치 기반 방법에 비해 노이즈 라벨에 대한 견고성을 향상시키는가?
• RQ3 두 네트워크 간 협력을 강제하는 공동 손실에 의해 guided될 때 작은 손실 샘플 선택의 효과는 어느 정도인가?
• RQ4 정규화와 공동 학습이 없는 구성요소를 제거했을 때 라벨 정밀도와 테스트 정확도에 어떤 영향이 있는가?

주요 결과

• JoCoR은 다양한 노이즈 체제에서 MNIST, CIFAR-10, CIFAR-100, Clothing1M에서 여러 SOTA 베이스라인보다 더 높은 테스트 정확도를 달성합니다.
• 본 방법은 미니 배치에서 더 높은 라벨 정밀도를 산출하여 학습 중 더 깨끗한 인스턴스를 선택하는 데 더 효과적임을 보여줍니다.
• 애블레이션 연구는 Co-Regularization과 Joint Training 두 요소가 성능에 크게 기여하며, Co-Regularization은 노이즈 라벨의 기억화를 방지한다는 점을 보여줍니다.
• Co-teaching 및 Co-teaching+와 비교할 때 JoCoR은 노이즈가 증가해도 성능을 유지하거나 향상시키며, 가장 어려운 대칭 및 비대칭 노이즈 설정을 포함합니다.
• 이 접근법은 합성 노이즈와 실제 노이즈 라벨 모두에서 견고성을 유지함으로써 강한 일반화 성능을 보여줍니다.