[논문 리뷰] Asymmetric Loss Functions for Learning with Noisy Labels

Xiong Zhou, Xianming Liu외 3명|arXiv (Cornell University)|2021. 06. 06.

Machine Learning and Data Classification인용 수 12

한 줄 요약

이 논문은 노이즈 있는 레이블을 가진 딥러닝을 위한 비대칭 손실 함수를 제안하며, 청소된 레이블 지배 가정을 활용하여 베이즈 최적 예측이 0-1 손실과 일치하도록 한다. 이 방법은 노이즈 내성도를 측정하기 위해 비대칭 비율을 도입하여, 높은 비대칭성이 노이즈에 대한 내성을 향상시킴을 보이며, 다양한 노이즈 설정에서 벤치마크 데이터셋에서 최신 기술을 초월한다.

ABSTRACT

Robust loss functions are essential for training deep neural networks with better generalization power in the presence of noisy labels. Symmetric loss functions are confirmed to be robust to label noise. However, the symmetric condition is overly restrictive. In this work, we propose a new class of loss functions, namely extit{asymmetric loss functions}, which are robust to learning with noisy labels for various types of noise. We investigate general theoretical properties of asymmetric loss functions, including classification calibration, excess risk bound, and noise tolerance. Meanwhile, we introduce the asymmetry ratio to measure the asymmetry of a loss function. The empirical results show that a higher ratio would provide better noise tolerance. Moreover, we modify several commonly-used loss functions and establish the necessary and sufficient conditions for them to be asymmetric. Experimental results on benchmark datasets demonstrate that asymmetric loss functions can outperform state-of-the-art methods. The code is available at \href{https://github.com/hitcszx/ALFs}{https://github.com/hitcszx/ALFs}

연구 동기 및 목표

• 대칭 손실 함수의 한계를 해결하기 위해, 이는 노이즈 있는 레이블 설정에서 과소적합을 유도하는 너무 엄격한 조건을 가진다.
• 대칭 조건을 완화함으로써 다양한 종류의 레이블 노이즈에 대해 본질적으로 내성적인 새로운 손실 함수의 클래스를 개발한다.
• 비대칭 손실 함수의 校정성, 초과 위험 경계, 노이즈 내성도를 이론적으로 분석한다.
• 손실 함수의 내성도를 측정하고 최적화하기 위한 정량적 비대칭 비율을 도입한다.
• 일반적인 손실 함수(예: CE, GCE)의 수정된 형태가 필요한 조건과 충분한 조건을 만족함으로써 비대칭화될 수 있음을 보여준다.

제안 방법

• 진짜 레이블이 오인식된 레이블보다 훈련 데이터에서 지배하는 청소된 레이블 지배 가정에 기반한 비대칭 손실 함수를 제안한다.
• 위험 최소화를 가중합으로 표현함으로써 손실를 유도하며, 가장 높은 가중치를 가진 항목이 최적화 방향을 지배한다.
• 비대칭 비율을 도입하여 손실 함수가 올바른 레이블을 잘못된 레이블보다 얼마나 더 선호하는지 측정하며, 높은 비율일수록 더 높은 노이즈 내성도를 의미한다.
• 일반적인 손실 함수(예: 교차 엔트로피, 일반화된 교차 엔트로피)가 비대칭이 되기 위한 필요 및 충분 조건을 수립한다.
• 기존의 손실 함수(예: NCE, AGCE, AEL)에 비대칭성을 도입하면서도 최적화 성질을 유지하도록 수정한다.
• 대칭 및 비대칭 레이블 노이즈 하에서 MNIST, CIFAR-10, CIFAR-100에서의 실험적 검증을 통해 성능을 비교한다.

실험 결과

연구 질문

• RQ1 비대칭 손실 함수는 노이즈 있는 레이블을 가진 딥러닝에서 대칭 손실 함수보다 더 높은 노이즈 내성도를 달성할 수 있는가?
• RQ2 손실 함수의 비대칭 비율이 다양한 노이즈 비율 하에서 내성도와 어떻게 관련되어 있는가?
• RQ3 CE 및 GCE와 같은 표준 손실 함수가 비대칭화되기 위한 필요 및 충분 조건은 무엇인가?
• RQ4 제안된 비대칭 손실 함수는 분류 캘리브레이션을 유지하고 초과 위험 경계가 유한한가?
• RQ5 비대칭 손실 함수는 대칭 및 비대칭 레이블 노이즈 하에서 다양한 벤치마크 데이터셋에서 최신 기술을 능가하는가?

주요 결과

• 비대칭 손실 함수는 엄격하게 비대칭일 경우 분류 캘리브레이션을 보장하고 초과 위험 경계를 갖는다. 이는 이론적으로 타당성을 확보한다.
• 비대칭 비율은 노이즈 내성도와 정적 상관관계를 가지며, 높은 비율일수록 노이즈 있는 레이블 하에서 더 우수한 일반화 성능을 보인다.
• 40% 비대칭 레이블 노이즈 하에서 MNIST에서 AUL과 AGCE는 각각 98.62% 및 98.44%의 테스트 정확도를 달성하였으며, CE(82.27%) 및 SCE(85.36%)를 능가했다.
• 40% 비대칭 노이즈 하에서 CIFAR-10에서 NCE+AEL은 77.27%의 정확도를 기록하여 CE(74.67%) 및 AGCE(60.91%)를 크게 앞섰다.
• 40% 비대칭 노이즈 하에서 CIFAR-100에서 NCE+AGCE는 43.76%의 정확도를 기록하여 CE(40.17%) 및 SCE(36.43%)를 초월했다.
• 제안된 비대칭 손실 함수는 모든 데이터셋과 노이즈 비율에서 최신 기술을 일관되게 능가하며, 특히 고노이즈 조건에서 두각을 나타낸다.