[논문 리뷰] An Investigation of how Label Smoothing Affects Generalization

Blair Chen, Liu Ziyin외 2명|arXiv (Cornell University)|2020. 10. 23.

Machine Learning and Data Classification참고 문헌 27인용 수 8

한 줄 요약

이 논문은 레이블 노이즈가 존재하는 환경에서 레이블 스무딩이 일반화 오차를 줄이는 방식을 설명하는 이론적 프레임워크를 제안한다. 이는 일반화 오차를 줄이는 데 기여하는 정규화 기법으로서의 역할을 분석한다. 최적의 레이블 스무딩 하이퍼파라미터 $ p^* $에 대한 닫힌 형태의 표현식을 유도하며, 여러 데이터셋과 모델에서 이 예측을 실험적으로 검증한다.

ABSTRACT

It has been hypothesized that label smoothing can reduce overfitting and improve generalization, and current empirical evidence seems to corroborate these effects. However, there is a lack of mathematical understanding of when and why such empirical improvements occur. In this paper, as a step towards understanding why label smoothing is effective, we propose a theoretical framework to show how label smoothing provides in controlling the generalization loss. In particular, we show that this benefit can be precisely formulated and identified in the label noise setting, where the training is partially mislabeled. Our theory also predicts the existence of an optimal label smoothing point, a single value for the label smoothing hyperparameter that minimizes generalization loss. Extensive experiments are done to confirm the predictions of our theory. We believe that our findings will help both theoreticians and practitioners understand label smoothing, and better apply them to real-world datasets.

연구 동기 및 목표

• 딥 러닝에서 레이블 스무딩이 일반화를 향상시키는 이유에 대한 이론적 이해 부족을 해결하기 위해.
• 모델 표현력과 일반화 오차 간의 트레이드오���을 제어하는 정규화 기법으로서 레이블 스무딩을 체계화하기 위해.
• 레이블 노이즈 하에서 일반화 오차를 최소화하는 데 최적의 레이블 스무딩 하이퍼파라미터 $ p^* $에 대한 정확한 수학적 예측을 도출하기 위해.
• 실세계 데이터셋(MNIST, CIFAR10 등)에서 광범위한 실험을 통해 이론적 예측을 검증하기 위해.
• 레이블 스무딩 하에서 테스트 손실 최소화와 테스트 정확도 최대화 사이의 괴리점을 규명하고, 모델 평가의 열린 문제를 제기하기 위해.

제안 방법

• 레이블 스무딩 과정을 스무딩 행렬 $ S_p $ 를 사용한 원-핫 타겟 변환으로 모델링하며, 여기서 대각선 요소는 $ p $, 비대각선 요소는 $ \frac{1-p}{M-1} $ 이다. 이는 균일한 레이블 스무딩을 나타낸다.
• 청결한 레이블과 손상된 레이블의 혼합으로 진짜 클래스 분포를 모델링하여 레이블 노이즈 하에서의 일반화 오차를 분석한다. 청결 비율은 $ a $ 로 표기된다.
• $ \alpha $-유형 및 $ \beta $-유형 노이즈 모델 하에서 기대 테스트 손실 $ \ell(a,p) $ 의 이론적 표현식을 유도하며, 이가 $ p $ 에 대해 볼록 함수임을 보인다.
• $ \beta $-유형 노이즈 모델을 사용하여 일반화 오차를 최소화하는 최적의 스무딩 파rameter $ p^* $ 에 대한 닫힌 형태의 해를 유도한다.
• 다양한 모델, 랜덤 시드, 데이터셋(MNIST, CIFAR10 등)에서 테스트 손실을 측정하여 이론적 예측과의 강력한 일치를 검증한다.
• 제닝스 부등식을 적용하여 레이블 스무딩 및 프로퍼-매트릭스 공식화를 확장함으로써, 새로운 방법인 로짓 스무딩을 탐색한다.

실험 결과

연구 질문

• RQ1 레이블 노이즈가 존재하는 상황에서 레이블 스무딩이 일반화 오차를 어떻게 줄이는가? 이는 수학적으로 체계화할 수 있는가?
• RQ2 일반화 오차를 최소화하는 데 최적의 레이블 스무딩 하이퍼파라미터 $ p $ 의 값은 무엇이며, 이를 닫힌 형태로 유도할 수 있는가?
• RQ3 이론적 예측에 따르면 최적의 $ p^* $ 는 다양한 데이터셋과 아키텍처에서 실험적 테스트 손실과 일치하는가?
• RQ4 왜 레이블 스무딩 하에서 테스트 손실을 최소화하는 데 최적의 $ p $ 와 테스트 정확도를 최대화하는 데 최적의 $ p $ 가 다를 수 있으며, 이는 모델 평가에 어떤 함의를 갖는가?
• RQ5 이론적 프레임워크는 비균일 스무딩이나 로짓 스무딩과 같은 새로운 변형으로 확장될 수 있는가?

주요 결과

• 이론적 프레임워크는 레이블 스무딩이 레이블 노이즈 하에서 일반화 오차를 제어하는 정규화 기법으로 작용하며, 최적의 스무딩 파arameter $ p^* $ 에 대한 닫힌 형태의 표현식을 제공한다.
• MNIST 및 CIFAR10에서의 광범위한 실험은 다양한 청결 비율 $ a $ 에서 예측된 손실과 측정된 손실 간 강력한 일치를 보이며, 이론적 모델을 검증한다.
• 최적의 스무딩 파arameter $ p^* $ 는 청결 비율 $ a $ 와 정적 상관관계를 가지며, 이는 레이블 품질이 높을수록 더 적은 스무딩이 필요함을 시사한다.
• 테스트 손실에서는 강력한 일치가 관찰되지만, 테스트 손실 최소화를 위한 최적의 $ p $ 와 정확도 최대화를 위한 최적의 $ p $ 사이에 상당한 괴리가 존재하여, 레이블 스무딩 하에서 손실과 정확도가 항상 일치하지는 않음을 시사한다.
• 이 프레임워크는 제닝스 부등식을 통해 유도된 새로운 방향, 즉 로짓 스무딩을 제안하며, 이는 향후 연구를 위해 개선된 성능 가능성을 지닌다.