[논문 리뷰] Combining Self-Supervised and Supervised Learning with Noisy Labels

Zhang, Yongqi, Hui Zhang외 2명|arXiv (Cornell University)|2020. 11. 16.

Machine Learning and Data Classification참고 문헌 48인용 수 7

한 줄 요약

이 논문은 표본 간 표현 학습을 자기지도 대비 사전 훈련(BYOL를 사용)과 노이즈 있는 레이블을 가진 분류기 훈련으로 분리함으로써 표현 학습의 강건성을 향상시키는 CS³NL이라는 새로운 방법을 제안한다. 분류기의 내재된 강건성에 기반하여, 백본과 분류기 간의 기울기 전파를 중단하고, 자기지도 표현 학습(SSRL)과 노이즈 있는 지도 학습을 조합함으로써, 특히 높은 노이즈 조건(80% 오류율 감소)에서 최신 기술을 압도적으로 뛰어넘는 최고의 정확도를 달성한다.

ABSTRACT

Since convolutional neural networks (CNNs) can easily overfit noisy labels, which are ubiquitous in visual classification tasks, it has been a great challenge to train CNNs against them robustly. Various methods have been proposed for this challenge. However, none of them pay attention to the difference between representation and classifier learning of CNNs. Thus, inspired by the observation that classifier is more robust to noisy labels while representation is much more fragile, and by the recent advances of self-supervised representation learning (SSRL) technologies, we design a new method, i.e., CS$^3$NL, to obtain representation by SSRL without labels and train the classifier directly with noisy labels. Extensive experiments are performed on both synthetic and real benchmark datasets. Results demonstrate that the proposed method can beat the state-of-the-art ones by a large margin, especially under a high noisy level.

연구 동기 및 목표

• 노이즈 있는 레이블을 가진 데이터셋에서 깊은 CNN을 강건하게 훈련시키는 문제를 해결하기 위해, 일반적으로 과적합과 일반화 부족을 초래하는 노이즈 레이블 문제에 대응한다.
• 레이블 노이즈 하에서 표현 학습과 분류기 학습의 강건성에 대한 차이를 조사한다.
• 표현 학습과 분류기 학습을 분리함으로써 단순 분류기의 내재된 강건성을 활용해 모델의 일반화 성능을 향상시킨다.
• 최신 자기지도 표현 학습(BYOL)을 노이즈 있는 레이블에 대한 지도 학습과 통합하여 성능을 향상시킨다.
• 강건한 표현과 노이즈에 강건한 분류기를 조합하면, 특히 높은 노이즈 수준에서 뛰어난 성능을 내는지 입증한다.

제안 방법

• CNN을 백본(fθ)과 분류기(cw)로 분리하여, 분류기의 노이즈 레이블에 대한 강건성을 활용하기 위해 표현 학습과 분류기 학습을 별도로 수행한다.
• 자기지도 표현 학습은 BYOL 프레임워크를 통해 수행되며, 데이터 증강과 모멘텀 업데이트된 타겟 네트워크를 사용해 대비 표현을 학습한다.
• 백본과 분류기 간에 정지 기울기(sg) 연산을 적용하여, 지도 학습 기간 동안 오직 분류기만 업데이트되도록 하여 표현 학습과 분류기 학습을 분리한다.
• 레이블 정제 모듈 ψ를 도입하여 청소된 샘플을 식별하고 우선순위를 정함으로써 지도 손실의 신뢰도를 향상시킨다.
• 총 손실은 자기지도 BYOL 대비 손실과 정제된 레이블에 대한 지도 학습의 교차 엔트로피 손실을 조합하여, 강건한 표현과 정확한 분류를 동시에 최적화할 수 있도록 한다.
• 프레임워크는 온라인 네트워크에서 타겟 네트워크 파라미터를 천천히 업데이트하기 위해 모멘텀 업데이트(τ)를 사용하여 훈련 안정성을 높인다.

실험 결과

연구 질문

• RQ1 레이블 노이즈 하에서 표현 학습의 강건성은 분류기 학습의 강건성과 비교해 어떻게 다를까?
• RQ2 표현 학습과 분류기 학습을 분리함으로써 노이즈 있는 레이블 조건에서 일반화 성능을 향상시킬 수 있을까?
• RQ3 자기지도 표현 학습과 노이즈 있는 레이블에 대한 지도 학습을 조합하면 엔드 투 엔드 훈련보다 더 나은 성능을 낼 수 있을까?
• RQ4 정지 기울기 및 레이블 정제 구성 요소가 모델의 강건성에 어떤 영향을 미치는가?
• RQ5 최신 기술 대비 높은 수준의 레이블 노이즈에서 이 방법의 성능은 어떠한가?

주요 결과

• 80% 대칭 레이블 노이즈가 있는 CIFAR-10에서 CS³NL은 테스트 정확도 88.1%를 달성하여, 표준 엔드 투 엔드 훈련 기준선보다 25.2%포인트 높은 성능을 보였다.
• 40% 노이즈 조건에서 CS³NL은 94.6%의 정확도를 기록했으며, 아블레이션 변형들 사이에서 다음으로 우수한 방법보다 1.0~3.2%포인트 높은 성능을 보였다.
• 아블레이션 연구 결과, 정지 기울기 조치가 가장 중요한 구성 요소임을 확인했으며, 이를 제거하면 80% 노이즈 조건에서 정확도가 7.4%포인트 감소했다.
• 자기지도 손실(BYOL)을 제거하면 0% 노이즈 조건에서 정확도가 2.6포인트 감소하여, 청소된 데이터 환경에서도 그 가치가 있음을 보여주었다.
• 레이블 정제 모듈 ψ는 80% 노이즈 조건에서 정확도를 1.9포인트 향상시켜, 청소된 샘플을 식별하는 것이 강건성을 높이는 데 기여함을 시사한다.
• 이 방법은 합성 노이즈 데이터셋(CIFAR-10)과 실제 세계의 노이즈 데이터셋(CIFAR-100, ImageNet) 모두에서 뛰어난 성능을 유지하여 광범위한 적용 가능성을 입증했다.