[논문 리뷰] Understanding (Generalized) Label Smoothing when Learning with Noisy Labels.

Jiaheng Wei, Hangyu Liu외 3명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning and Data Classification참고 문헌 50인용 수 7

한 줄 요약

이 논문은 일반화된 레이블 스무딩(GSL)을 도입하여 양성 레이블 스무딩(PLS)과 부정성 레이블 스무딩(NLS)을 통합하고, 이전에 간과되었던 NLS가 높은 레이블 노이즈 하에서 모델의 강건성을 크게 향상시킨다는 것을 입증한다. 이는 이러한 상황에서 표준 PLS를 능가한다. 이 연구는 이론적이고 경험적인 증거를 바탕으로 NLS가 높은 노이즈 비율에서 모델의 확신도와 일반화 능력을 향상시킨다고 밝힌다.

ABSTRACT

Label smoothing (LS) is an arising learning paradigm that uses the positively weighted average of both the hard training labels and uniformly distributed soft labels. It was shown that LS serves as a regularizer for training data with hard labels and therefore improves the generalization of the model. Later it was reported LS even helps with improving robustness when learning with noisy labels. However, we observe that the advantage of LS vanishes when we operate in a high label noise regime. Puzzled by the observation, we proceeded to discover that several proposed learning-with-noisy-labels solutions in the literature instead relate more closely to negative label smoothing (NLS), which defines as using a negative weight to combine the hard and soft labels! We show that NLS functions substantially differently from LS in their achieved model confidence. To differentiate the two cases, we will call LS the positive label smoothing (PLS), and this paper unifies PLS and NLS into generalized label smoothing (GLS). We provide understandings for the properties of GLS when learning with noisy labels. Among other established properties, we theoretically show NLS is considered more beneficial when the label noise rates are high. We provide experimental results to support our findings too.

연구 동기 및 목표

• 고노이즈 환경에서 레이블 스무딩(LS)이 효과를 잃는 이유를 탐구하여, LS가 항상 강건성을 향상시킨다는 가정에 도전한다.
• 기존의 노이즈 있는 레이블 학습 방법들 중 많은 것이 명시적으로 표준 LS를 구현하는 것이 아니라 부정성 레이블 스무딩(NLS)을 암묵적으로 구현하고 있음을 밝힌다.
• 양성 레이블 스무딩(PLS)과 NLS를 이론적으로 통합하여 더 나은 이론적이고 실용적인 이해를 가능하게 하는 일반화된 레이블 스무딩(GSL) 프레임워크를 공식적으로 제안한다.
• PLS와 NLS 간의 행동적 차이, 특히 노이즈 있는 레이블 하에서 모델의 확신도와 일반화 능력 측면에서의 차이를 분석한다.
• 이론적으로도 경험적으로도 고노이즈 비율일 경우 NLS가 PLS보다 더 유익하다는 것을 입증한다.

제안 방법

• 하나의 스무딩 계수로 조정 가능한 일반화된 레이블 스무딩(GSL)이라는 통합 프레임워크를 제안하며, 이는 양성 스무딩(PLS)일 경우 양수, 부정성 스무딩(NLS)일 경우 음수인 스무딩 계수를 통해 하드 레이블과 균일한 소프트 레이블을 통합한다.
• GSL의 이론적 성질을 유도하여, 고노이즈 조건에서 NLS가 모델의 확신도를 높이고 더 강력한 정규화 효과를 발휘함을 보여준다.
• 스무딩 계수의 영향을 모델의 校정(calibration)과 일반화 능력에 미치는 영향에 대해 분석하며, 특히 노이즈 있는 레이블 존재 시의 영향을 고려한다.
• 제어된 레이블 노이즈를 가진 벤치마크 데이터셋을 대상으로 경험적 평가를 수행하여, 다양한 노이즈 비율에서 PLS, NLS, 표준 LS 간의 성능을 비교한다.
• 기존 방법들이 레이블 조합 전략을 분석하여 암묵적으로 NLS를 사용하고 있는지 확인할 수 있는 메커니즘을 도입한다.
• 고노이즈 조건에서 NLS가 더 뛰어난 강건성을 보이는 이유에 대한 이론적 근거를 제시하며, 이를 개선된 확신도 캘리브레이션과 과적합 감소와 연결한다.

실험 결과

연구 질문

• RQ1 표준 레이블 스무딩(PLS)이 저노이즈 설정에서는 유익한 것으로 알려져 있으나, 고노이즈 환경에서는 효과를 잃는 이유는 무엇인가?
• RQ2 기존의 노이즈 있는 레이블 학습 방법들은 부정성 레이블 스무딩(NLS)과 어떻게 관련되어 있으며, 고노이즈 조건에서 NLS가 PLS보다 더 효과적인 이유는 무엇인가?
• RQ3 양성 레이블 스무딩(PLS)과 부정성 레이블 스무딩(NLS) 간의 이론적·경험적 행동 차이점은 무엇인가?
• RQ4 일반화된 레이블 스무딩(GSL)이라는 통합 프레임워크는 PLS와 NLS를 효과적으로 포괄할 수 있는가? 각 변형이 어떤 조건에서 더 잘 작동하는가?
• RQ5 고노이즈 레이블 비율에서 NLS는 PLS보다 더 높은 모델의 확신도와 일반화 능력을 제공하는가?

주요 결과

• 고노이즈 레이블 환경에서 부정성 레이블 스무딩(NLS)이 양성 레이블 스무딩(PLS)보다 더 효과적임이 입증되었으며, 이는 일반적으로 PLS가 항상 강건성을 향상시킨다는 가정과는 정반대이다.
• 이론적 분석을 통해 NLS가 모델의 확신도를 높이고 고노이즈 조건에서 더 강력한 정규화 효과를 발휘함을 밝혀내었다.
• 기존의 노이즈 있는 레이블 학습 방법들 중 많은 것이 명시적으로 PLS를 구현하는 것이 아니라 암묵적으로 NLS를 구현하고 있음을 확인하였으며, 이는 이러한 방법들이 설계 목적과는 상관없이 강건성을 가지게 되는 이유를 설명한다.
• 경험적 결과는 레이블 노이즈 비율이 50%를 초과할 경우 NLS가 정확도와 일반화 능력 측면에서 PLS와 표준 LS를 모두 능가함을 확인하였다.
• 일반화된 레이블 스무딩(GSL)은 성공적으로 PLS와 NLS를 하나의 프레임워크로 통합하여, 다양한 노이즈 수준에서 스무딩 행동을 체계적으로 분석할 수 있도록 하였다.
• 본 연구는 NLS 하에서 모델의 확신도가 PLS 하보다 유의미하게 높으며, 이는 고노이즈 환경에서의 강건성 향상과 상관관계가 있음을 입증하였다.