[논문 리뷰] How does Early Stopping Help Generalization against Label Noise?

Hwanjun Song, Minseok Kim외 2명|arXiv (Cornell University)|2019. 11. 19.

Machine Learning and Data Classification참고 문헌 26인용 수 19

한 줄 요약

이 논문은 노이즈 있는 레이블에 과적합되는 것을 방지하기 위해 조기 정지 기반의 이중 단계 훈련 방법인 Prestopping을 제안한다. 이후 고신뢰도 샘플로 구성된 '최대 안전 집합'에서 재훈련한다. 이 방법은 다양한 레이블 노이즈 유형 하에서 네 가지 벤치마크 데이터셋에서 테스트 오차를 0.4–8.2%p 감소시켜 일반화 성능을 크게 향상시킨다. 기존 최고 수준의 방법들을 능가한다.

ABSTRACT

Noisy labels are very common in real-world training data, which lead to poor generalization on test data because of overfitting to the noisy labels. In this paper, we claim that such overfitting can be avoided by "early stopping" training a deep neural network before the noisy labels are severely memorized. Then, we resume training the early stopped network using a "maximal safe set," which maintains a collection of almost certainly true-labeled samples at each epoch since the early stop point. Putting them all together, our novel two-phase training method, called Prestopping, realizes noise-free training under any type of label noise for practical use. Extensive experiments using four image benchmark data sets verify that our method significantly outperforms four state-of-the-art methods in test error by 0.4-8.2 percent points under existence of real-world noise.

연구 동기 및 목표

• 노이즈 있는 레이블을 가진 데이터로 훈련된 딥 네트워크의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 실제 환경 및 쌍 노이즈 하에서 손실 분포가 겹치기 때문에 실패하는 손실 기반 샘플 선택 방법의 한계를 극복하기 위해.
• 다양한 노이즈 유형에서 효과적으로 작동하는 강건한, 노이즈 무관 훈련 방법을 개발하기 위해.
• 학습 과정에서 잘못된 레이블이 기억되기 시작하는 '에러에 취약한 기간'을 식별하고 제거하여 모델의 일반화 성능을 향상시키기 위해.

제안 방법

• 모델이 잘못된 레이블을 기억하기 시작하는 후기 단계에서 손실 증가 경향을 관찰한 바를 바탕으로, 잘못된 레이블 기억 전에 조기 정지를 시행한다.
• 조기 정지 시점에서 손실가 낮은 샘플들로부터 '최대 안전 집합'을 구성하며, 이는 대부분의 경우 올바른 레이블을 가진 것으로 간주한다.
• 조기 정지 후, 최대 안전 집합에서만 재훈련하여 노이즈 없는 최적화를 달성한다.
• 최근 훈련 동역학을 기반으로 안전 샘플 선택을 안정화하기 위해 역사 길이 하이퍼파라미터 q를 사용한다.
• 대상 데이터셋으로는 CIFAR-10, CIFAR-100, ANIMAL-10N, FOOD-101N을 사용하였으며, 대칭, 쌍, 실제 환경 노이즈 등 다양한 노이즈 유형을 포함한다.
• 학습률 감소 및 배치 정규화 등 하이퍼파라미터는 실험 간 공정한 비교를 위해 일관되게 설정되었다.

실험 결과

연구 질문

• RQ1 조기 정지를 통해 네트워크가 잘못된 레이블을 기억하기 전에 훈련을 중단함으로써, 노이즈 있는 레이블에 과적합되는 것을 방지할 수 있는가?
• RQ2 조기 정지 후 저손실 샘플로 구성된 최대 안전 집합에서 재훈련하면 표준 훈련 방식보다 더 나은 일반화 성능을 달성할 수 있는가?
• RQ3 실제 환경 노이즈 포함 다양한 레이블 노이즈 유형 하에서 Prestopping은 최고 수준의 기존 방법들보다 어떻게 성능을 내는가?
• RQ4 왜 손실 기반 샘플 선택 방법은 쌍 노이즈 및 실제 환경 노이즈 하에서 실패하며, 조기 정지는 이 문제를 완화시킬 수 있는가?
• RQ5 이 방법은 기존 벤치마크 데이터셋의 원래 레이블 오류까지 수정할 수 있으며, 0% 노이즈 조건에서도 성능 향상을 이끌 수 있는가?

주요 결과

• Prestopping은 다양한 노이즈 유형 하에서 네 개의 벤치마크 데이터셋에서 최고 수준의 방법들 대비 테스트 오차를 0.4–8.2%p 감소시켰다.
• Co-teaching+ 및 기타 손실 기반 방법들보다 뛰어난 성능을 보였으며, 특히 쌍 노이즈 및 실제 환경 노이즈 하에서 손실 분포가 겹쳐져 실패하는 기존 방법들과는 대조적으로 효과를 발휘했다.
• 그리드 서치를 통해 안전 집합 구성에 최적의 역사 길이 q = 10을 도출하였으며, 이는 모든 데이터셋과 노이즈 유형에서 테스트 오차를 최소화하는 데 기여했다.
• Prestopping+는 CIFAR-100에서 원래의 레이블 오류를 수정하여 'Boy'를 'Baby', 'Mouse'를 'Hamster'로 교정하는 데 성공했으며, 이는 0% 노이즈 조건에서도 마찬가지로 성능 향상을 이끌었다.
• 이 방법은 잘못된 레이블 기억이 급격히 증가하는 '에러에 취약한 기간'을 효과적으로 제거하여 수렴성과 일반화 성능을 향상시켰다.
• 실제 환경 노이즈 하에서 성능 향상이 가장 두드러졌으며, 예를 들어 FOOD-101N에서 8.2%p의 오차 감소를 기록했다. 이는 현재 기술이 가장 어려움을 겪는 조건이었다.