[논문 리뷰] Mitigating Memorization of Noisy Labels via Regularization between Representations

Hao Cheng, Zhaowei Zhu외 2명|arXiv (Cornell University)|2021. 10. 18.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 딥 네ural 네트워크에서 노이즈가 있는 레이블의 기억을 줄이기 위해 자기 지도 학습 특징 거리와 지도 학습 모델 출력 거리 간의 양의 상관관계를 강제하는 표현 정규화기를 제안한다. 네트워크를 인코더와 선형 분류기로 분리함으로써 아키텍처 변경 없이 기능 공간을 제한하며, 특히 높은 노이즈 비율에서 노이즈가 있는 데이터셋에서의 강건성에 크게 기여한다. 또한 기존의 강건한 손실 함수와도 호환된다.

ABSTRACT

Designing robust loss functions is popular in learning with noisy labels while existing designs did not explicitly consider the overfitting property of deep neural networks (DNNs). As a result, applying these losses may still suffer from overfitting/memorizing noisy labels as training proceeds. In this paper, we first theoretically analyze the memorization effect and show that a lower-capacity model may perform better on noisy datasets. However, it is non-trivial to design a neural network with the best capacity given an arbitrary task. To circumvent this dilemma, instead of changing the model architecture, we decouple DNNs into an encoder followed by a linear classifier and propose to restrict the function space of a DNN by a representation regularizer. Particularly, we require the distance between two self-supervised features to be positively related to the distance between the corresponding two supervised model outputs. Our proposed framework is easily extendable and can incorporate many other robust loss functions to further improve performance. Extensive experiments and theoretical analyses support our claims. Code is available at github.com/UCSC-REAL/SelfSup_NoisyLabel.

연구 동기 및 목표

• 고정된 레이블 노이즈 조건에서 딥 네럴 네트워크가 노이즈가 있는 레이블을 기억하는 문제를 해결하기 위해, 특히 높은 노이즈 비율에서의 영향을 다루는 것.
• 일반화 오차를 추정 오차와 근사 오차로 분해하여 기억 현상에 대한 이론적 분석을 수행하는 것.
• 아키텍처 수정 없이 DNN의 기능 공간을 제한하는 모델에 종속되지 않는 정규화 프레임워크를 제안하는 것.
• 기존의 강건한 손실 함수와 결합했을 때 표현 정규화가 성능 향상에 기여할 수 있음을 보여주는 것.
• 낮은 용량의 모델이 노이즈가 있는 데이터셋에서 더 잘 일반화될 수 있음을 보여주며, 이는 구조적 정규화 접근법을 동기화하는 데 기여한다.

제안 방법

• 표현 학습과 분류를 분리하기 위해 DNN을 고정된 인코더와 훈련 가능한 선형 분류기로 분해함으로써 표현 학습과 분류를 분리한다.
• 자기 지도 학습 특징 간의 L2 거리와 지도 학습 모델 출력 간의 L2 거리 간에 양의 상관관계를 강제하는 표현 정규화기를 도입한다.
• 예측된 거리와 목표 거리 간의 이질성을 측정하기 위해 스무스 L1 손실을 사용하여 훈련 안정성을 향상시킨다.
• 노이즈가 있는 레이블에서의 미세조정 이전에 대비 자기 지도 학습(예: SimCLR 또는 MoCo)을 사용해 인코더를 사전 훈련한다.
• 표준 교차 엔트로피 손실과 정규화기를 통합함으로써 기존의 강건한 손실 함수와의 호환성을 확보한다.
• 일찍 중단 및 다운샘플링 전략을 적용하여 고노이즈 환경에서의 일반화 갭을 추가로 줄인다.

실험 결과

연구 질문

• RQ1 일반화 오차를 추정 오차와 근사 오차로 분해함으로써, 레이블 노이즈 하에서 모델 용량 선택에 어떤 통찰을 제공하는가?
• RQ2 자기 지도 학습 특징과 지도 학습 특징 간의 구조적 일관성을 강제하는 표현 정규화기가 노이즈가 있는 레이블의 기억을 줄일 수 있는가?
• RQ3 특징 거리와 출력 거리 간에 양의 상관관계를 강제하는 것이 표준 강건한 손실 함수에 비해 노이즈가 있는 데이터셋에서의 강건성을 향상시키는가?
• RQ4 이 정규화기가 기존의 강건한 손실 함수와 얼마나 잘 조합되어 성능 향상에 기여하는가?
• RQ5 이 정규화기의 효과가 자기 지도 사전 훈련 방법의 선택에 의존하는가?

주요 결과

• 제안된 정규화기는 특히 높은 노이즈 비율(예: 0.8)에서 노이즈가 있는 레이블의 기억을 크게 줄이며, CIFAR10N 및 CIFAR100N에서 테스트 정확도를 향상시킨다.
• CIFAR10에서 대칭 레이블 노이즈 비율이 0.8일 경우, MoCo 사전 훈련을 사용한 방법이 고정된 인코더와 표준 교차 엔트로피를 사용하는 것보다 88.51%의 정확도를 달성한다.
• 제거 실험을 통해 성능 향상의 주요 원인이 사전 훈련 자체가 아니라 정규화기라는 것이 확인되었다.
• 이 방법은 다양한 SSL 사전 훈련 방법(예: SimCLR 및 MoCo)에 대해 강건하며, 유사한 성능를 보여주어 일반화 가능성의 우수함을 입증한다.
• 정규화기 손실에 스무스 L1 손실을 사용함으로써 표준 MSE에 비해 훈련 안정성과 일반화 성능이 향상된다.
• 클래스 분포를 균형 잡기 위해 다운샘플링을 적용함으로써 진짜 노이즈 비율을 알지 못해도 일반화 갭을 줄일 수 있으며, 이는 이론적 주장과 일치한다.