[논문 리뷰] Does label smoothing mitigate label noise?

Michał Łukasik, Srinadh Bhojanapalli외 2명|arXiv (Cornell University)|2020. 03. 05.

Machine Learning and Data Classification참고 문헌 39인용 수 19

한 줄 요약

이 논문은 레이블 스무딩이 딥 러닝에서 레이블 노이즈를 완화하는 데 효과적인지 조사한다. 비록 대칭 노이즈를 주입하는 것과 보기에 동일한 효과를 보일 수 있지만, 레이블 스무딩은 일반화와 성능 향상을 돕는 정규화 기법으로 작용하며, 레이블 노이즈 상황에서도 효과적임을 입증한다. 이는 기존의 손실 보정 기법들과 경쟁 가능하며, 노이즈가 있는 교사 모델에 적용했을 때 지식 증류 성능을 크게 향상시킨다.

ABSTRACT

Label smoothing is commonly used in training deep learning models, wherein one-hot training labels are mixed with uniform label vectors. Empirically, smoothing has been shown to improve both predictive performance and model calibration. In this paper, we study whether label smoothing is also effective as a means of coping with label noise. While label smoothing apparently amplifies this problem --- being equivalent to injecting symmetric noise to the labels --- we show how it relates to a general family of loss-correction techniques from the label noise literature. Building on this connection, we show that label smoothing is competitive with loss-correction under label noise. Further, we show that when distilling models from noisy data, label smoothing of the teacher is beneficial; this is in contrast to recent findings for noise-free problems, and sheds further light on settings where label smoothing is beneficial.

연구 동기 및 목표

• 레이블 스무딩이 모델 校정과 일반화에 널리 사용되지만, 레이블 노이즈 완화에 효과적인지 조사하는 것.
• 레이블 스무딩과 기존의 레이블 노이즈 보정 기법들 사이의 이론적 관계를 명확히 하는 것.
• 학습 데이터에 레이블 노이즈가 포함되어 있을 때, 지식 증류에 레이블 스무딩이 미치는 영향을 평가하는 것.
• 레이블 스무딩이 노이즈 주입 효과를 보이지만 실제로는 노이즈 제거 효과를 보이는 데서 발생하는 명백한 모순을 해소하는 것.

제안 방법

• 저자들은 레이블 스무딩을 레이블 노이즈 문헌에서의 손실 보정 기법, 특히 역방향 보정 기반 기법들과 연결한다.
• 레이블 스무딩을 L2 정규화의 한 형태로 분석하여, 모델 예측을 균일성 쪽으로 수축시켜 과신뢰도를 감소시킴을 보여준다.
• CIFAR-10과 CIFAR-100에 대해 제어된 레이블 노이즈를 적용하여 실증 평가를 수행하며, 레이블 스무딩을 전방 보정과 표준 학습과 비교한다.
• 교사 모델을 노이즈가 있는 레이블로 학습시켰을 때와 아닐 때를 대비하여 지식 증류를 적용하고, 학생 모델의 성능을 평가한다.
• 온도 기반 증류를 사용하며, 다양한 스무딩 수준(α)에서 정확도를 측정하여 강인성 평가를 수행한다.
• 이론적 분석을 통해 레이블 스무딩이 정규화와 연결되어 있으며, 로짓의 수축을 통해 노이즈 제거 효과를 설명한다.

실험 결과

연구 질문

• RQ1 레이블 스무딩이 대칭 노이즈 주입과 보기에 동일한 효과를 보일 수 있지만, 레이블 노이즈 완화에 효과적인가?
• RQ2 레이블 스무딩은 레이블 노이즈 문헌에서 기존의 손실 보정 기법들과 어떻게 관련되어 있는가?
• RQ3 교사 모델이 노이즈가 있는 레이블로 학습되었을 때, 레이블 스무딩이 지식 증류 성능 향상에 기여하는가?
• RQ4 레이블 스무딩이 정규화 효과를 보이지만, 레이블 노이즈 상황에서 일반화 성능 향상에 기여하는 이유는 무엇인가?

주요 결과

• 레이블 스무딩은 CIFAR-10과 CIFAR-100에서 레이블 노이즈 상황에서 오차를 감소시키는 데 있어 전방 보정 및 기타 손실 보정 기법들과 경쟁 가능하다.
• 노이즈가 있는 레이블로 학습된 교사 모델에 레이블 스무딩을 적용할 경우, 일반 증류보다 성능 향상이 뚜렷하다.
• 노이즈 상황에서 증류 성능 향상 효과는 다양한 스무딩 수준 α에 대해 강인하며, 높은 α 값일수록 일관된 향상이 관찰된다.
• 레이블 스무딩은 암묵적인 L2 정규화 기법으로 작용하며, 이는 모델의 과신뢰도를 감소시키고 예측을 균일성 쪽으로 수축시켜 노이즈 제거 효과를 설명한다.
• 기존의 노이즈 없는 환경에서의 결과와 대조적으로, 교사 모델에 레이블 스무딩을 적용하면 증류 성능이 떨어지지만, 이 연구에서는 레이블 노이즈 상황에서는 유익한 효과를 보인다.
• 본 연구는 레이블 스무딩이 이론적 및 실증적 근거를 바탕으로 실질적인 노이즈 제거 기법이 될 수 있음을 입증한다.