[논문 리뷰] A Novel Self-Supervised Re-labeling Approach for Training with Noisy Labels

Devraj Mandal, Shrisha Bharadwaj외 1명|arXiv (Cornell University)|2019. 10. 13.

Machine Learning and Data Classification참고 문헌 35인용 수 4

한 줄 요약

이 논문은 노이즈가 많은 레이블에서 딥 러닝 성능을 향상시키기 위해 먼저 자기지도 학습을 통해 강건한 특징을 학습한 후, 두 개의 병렬 네트워크에서 소손실 샘플을 이용해 고손실 샘플을 재레이블링하는 새로운 자기지도 학습 기반 재레이블링 프레임워크 mCT-S2R를 제안한다. 높은 노이즈 수준에서 MNIST, CIFAR-10, CIFAR-100에서 최신 기술을 크게 능가하며, 재레이블링 이후 단일 네트워크로 학습하기 때문에 계산 비용도 감소시킨다.

ABSTRACT

The major driving force behind the immense success of deep learning models is the availability of large datasets along with their clean labels. Unfortunately, this is very difficult to obtain, which has motivated research on the training of deep models in the presence of label noise and ways to avoid over-fitting on the noisy labels. In this work, we build upon the seminal work in this area, Co-teaching and propose a simple, yet efficient approach termed mCT-S2R (modified co-teaching with self-supervision and re-labeling) for this task. First, to deal with significant amount of noise in the labels, we propose to use self-supervision to generate robust features without using any labels. Next, using a parallel network architecture, an estimate of the clean labeled portion of the data is obtained. Finally, using this data, a portion of the estimated noisy labeled portion is re-labeled, before resuming the network training with the augmented data. Extensive experiments on three standard datasets show the effectiveness of the proposed framework.

연구 동기 및 목표

• 웹 또는 커뮤니티 기반 대규모 데이터셋에서 흔히 발생하는 레이블 노이즈 문제를 해결하기 위해 딥 네트워크를 훈련시키는 데 도전하는 것.
• 노이즈 전이 행렬에 대한 사전 지식 없이도 일반화 성능을 향상시키고 노이즈 레이블에 대한 과적합을 줄이는 것.
• 공동 훈련(co-teaching)과 달리 전체 훈련 과정에서 두 개의 네트워크를 사용하지 않는 계산 비용이 효율적인 방법을 개발하는 것.
• 소손실 샘플에서 유도한 클래스 평균을 이용해 고손실 샘플을 동적으로 재레이블링하고 자기지도 사전 훈련을 결합함으로써 모델의 강건성을 향상시키는 것.

제안 방법

• 레이블을 사용하지 않고도 노이즈에 강인하고 변하지 않는 특징을 학습하기 위해, 자기지도 대비 학습 목표(예: 인스턴스 식별)를 사용해 네트워크를 사전 훈련한다.
• 소손실 샘플(즉, 더 잘 레이블링된 것으로 간주되는 샘플)을 식별하기 위해 공동 훈련 유사 설정에서 두 개의 병렬 네트워크를 훈련시킨다.
• 소손실 샘플의 특징에서 클래스 평균을 계산하여 재레이블링을 위한 기준 프로토타입으로 사용한다.
• 클래스 프로토타입과의 유사도를 기반으로 고손실 샘플을 재레이블링하며, 신뢰도 기준(소프트맥스 확률)을 사용해 가장 신뢰할 수 있는 재레이블링 샘플만 선택한다.
• 기존의 소손실 샘플과 재레이블링된 고손실 샘플을 사용해 단일 네트워크로 훈련을 재개함으로써 일반화 성능을 향상시킨다.
• 훈련이 진행됨에 따라 청소된 데이터에 집중하기 위해 떨어짐 비율 R(T) = 1−ε·min(T/Tk, 1)을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 자기지도 사전 훈련이 이미지 분류에서 노이즈 레이블에 대한 과적합을 줄이고 특징의 강건성을 향상시키는가?
• RQ2 소손실 샘플에서 유도한 클래스 평균을 사용해 고손실 샘플을 재레이블링하면 높은 노이즈 수준에서도 모델 정확도가 향상되는가?
• RQ3 청결한 샘플을 식별하기 위해 두 네트워크를 사용하는 공동 훈련 설정을 거친 후 단일 네트워크로의 최적화를 수행할 경우 성능 유지와 함께 계산 비용을 줄일 수 있는가?
• RQ4 신뢰도 기준(κ)과 업데이트 주기(T_update)와 같은 하이퍼파rameter의 변동에 대해 이 방법이 얼마나 강건한가?
• RQ5 다양한 노이즈 모델(예: 대칭, pair-20%, pair-45%)과 데이터셋(MNIST, CIFAR-10, CIFAR-100)에 대해 이 프레임워크가 일반화 가능한가?

주요 결과

• 50% 대칭 노이즈가 있는 MNIST에서 mCT-S2R는 테스트 정확도 98.86%를 기록하며 베이스라인을 능가하며, 하이퍼파rameter 설정 간 높은 일관성을 보였다.
• 50% 대칭 노이즈가 있는 CIFAR-100에서 mCT-S2R는 60.49%의 정확도를 기록하며 동일한 노이즈 조건에서 최신 기술을 크게 능가했다.
• 신뢰도 기준(κ = 0.80, 0.90, 0.95)의 다양한 설정에서도 강력한 성능 유지를 보이며 하이퍼파rameter 선택에 대한 강건성을 입증했다.
• 재레이블링을 수행하는 네트워크의 선택에 민감하지 않으며, 첫 번째와 두 번째 네트워크 간 테스트 정확도 차이가 0.3% 미만이었다.
• 진짜 노이즈 수준 ε를 알지 못해도 안정적인 성능(예: 45% 쌍 노이즈에서 MNIST에서 94.72%)을 기록해 실용성 있는 성능을 보였다.
• 재레이블링 이후 단일 네트워크로 전환함으로써 계산 비용을 줄였으며, co-teaching처럼 전체 훈련 과정에서 두 개의 네트워크를 유지하지 않는다는 점에서 이점이 있다.