[논문 리뷰] SELC: Self-Ensemble Label Correction Improves Learning with Noisy Labels

Yangdi Lu, Wenbo He|arXiv (Cornell University)|2022. 05. 02.

Machine Learning and Data Classification인용 수 4

한 줄 요약

SELC는 초기 학습 에포크 동안의 자기 앙상블 예측을 사용하여 노이즈 있는 레이블을 점진적으로 보정함으로써 깊이 신경망을 노이즈 있는 레이블로 훈련시키는 단순하면서도 효과적인 방법이다. 기억화 전환점 이전의 모델 출력에 대한 지수 이동 평균을 활용하여, 잘못된 레이블에 대한 과적합을 줄이고, 대칭적, 클래스 조건부, 인스턴스 종속성 노이즈 설정에서 최신 기술 수준의 성능을 달성하며, 하이퍼파라미터 민감도가 매우 낮다.

ABSTRACT

Deep neural networks are prone to overfitting noisy labels, resulting in poor generalization performance. To overcome this problem, we present a simple and effective method self-ensemble label correction (SELC) to progressively correct noisy labels and refine the model. We look deeper into the memorization behavior in training with noisy labels and observe that the network outputs are reliable in the early stage. To retain this reliable knowledge, SELC uses ensemble predictions formed by an exponential moving average of network outputs to update the original noisy labels. We show that training with SELC refines the model by gradually reducing supervision from noisy labels and increasing supervision from ensemble predictions. Despite its simplicity, compared with many state-of-the-art methods, SELC obtains more promising and stable results in the presence of class-conditional, instance-dependent, and real-world label noise. The code is available at https://github.com/MacLLL/SELC.

연구 동기 및 목표

• 딥 신경망이 훈련 중에 노이즈 있는 레이블에 과적합하는 문제를 해결하기 위해.
• 청정 샘플에 대한 모델 예측이 신뢰할 수 있는 초기 단계의 기억화 행동을 식별하고 활용하기 위해.
• 시험 데이터나 노이즈 비율 정보 없이도 과거 모델 예측을 활용하여 보조 지도 신호를 개선하는 레이블 보정 방법을 개발하기 위해.
• 기존 훈련 기법(예: mixup)과 쉽게 통합할 수 있는 강인하고 단순하며 효과적인 접근법을 만들기 위해.

제안 방법

• SELC는 초기 학습 에포크 동안의 모델 예측에 대한 지수 이동 평균(EMA)을 사용하여 자기 앙상블 예측을 형성하고, 이는 노이즈 있는 레이블보다 더 신뢰할 수 있는 타겟이 된다.
• 이 방법은 모멘텀 가중 업데이트를 사용하여 원래의 노이즈 있는 레이블과 EMA 기반 앙상블 예측을 결합하여 동적으로 원본 레이블을 보정한다.
• 시험 데이터나 노이즈 비율 정보 없이도, 손실 모델링 기반의 새로운 비지도 메트릭을 제안하여 훈련 중 기억화가 시작되는 전환점을 추정한다.
• 보정 과정은 점차 노이즈 있는 레이블에 대한 의존도를 줄이고 더 안정적인 앙상블 예측에 대한 의존도를 높여 일반화 성능을 향상시킨다.
• 이 접근법은 mixup와 같은 데이터 증강 기법과도 호환되며, 통합 시 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 청정 샘플에 대한 초기 일관된 모델 예측을 활용하여 훈련 중에 노이즈 있는 레이블을 보정할 수 있는가?
• RQ2 시험 데이터나 노이즈 비율 정보 없이도, 잘못된 샘플의 기억화가 시작되는 훈련 전환점을 어떻게 감지할 수 있는가?
• RQ3 과거 모델 예측의 자기 앙상블이 다양한 노이즈 유형 하에서 레이블 보정과 모델 일반화를 향상시킬 수 있는가?
• RQ4 SELC는 다양한 노이즈 수준과 설정에서 최신 기술 수준의 방법과 비교해 볼 때 강인성과 안정성 면에서 어떻게 성과를 내는가?

주요 결과

• SELC는 대칭적, 클래스 조건부, 인스턴스 종속성 레이블 노이즈가 있는 CIFAR-10에서 최신 기술 수준의 성능을 달성하며, 모든 노이즈 비율에서 기존 방법을 능가한다.
• CIFAR-10에서 대칭 노이즈 비율 80% 조건에서, SELC는 표준 크로스 엔트로피 훈련 대비 테스트 정확도를 10% 이상 향상시켰다.
• CIFAR-100에서 70% PMD 노이즈 조건에서, SELC는 베이스라인 대비 약 10%의 정확도 향상을 달성하여 고노이즈 수준에서도 강력한 강인성을 입증했다.
• 실제 세계 데이터셋에서 SELC는 ANIMAL-10N과 Webvision에서 베이스라인을 능가했으며, 단순함에도 불구하고 Clothing1M에서 PLC와 같은 최신 기술 수준의 방법과 유사한 성능을 달성했다.
• SELC의 보정 정확도는 훈련 에포크 전반에 걸쳐 안정적이고 높게 유지되어 신뢰할 수 있고 일관된 레이블 보정을 보여준다.
• SELC는 하이퍼파rameter α에 대해 약간의 민감도를 보이며, α 값 0.85, 0.9, 0.95 범위에서 성능 저하가 최소한이어서 하이퍼파rameter 선택에 대한 강인성을 입증한다.