[논문 리뷰] Robust Loss Functions under Label Noise for Deep Neural Networks

Aritra Ghosh, Himanshu Kumar외 1명|arXiv (Cornell University)|2017. 12. 27.

Machine Learning and Data Classification참고 문헌 8인용 수 151

한 줄 요약

본 논문은 다중 클래스 설정에서 손실 함수가 잡음에 견디는 충분 조건을 제시하고, 평균 절대 오차(MAE)가 심층 신경망의 레이블 노이즈에 본질적으로 강인하다는 것을 이론적 결과와 경험적 검증으로 보인다.

ABSTRACT

In many applications of classifier learning, training data suffers from label noise. Deep networks are learned using huge training data where the problem of noisy labels is particularly relevant. The current techniques proposed for learning deep networks under label noise focus on modifying the network architecture and on algorithms for estimating true labels from noisy labels. An alternate approach would be to look for loss functions that are inherently noise-tolerant. For binary classification there exist theoretical results on loss functions that are robust to label noise. In this paper, we provide some sufficient conditions on a loss function so that risk minimization under that loss function would be inherently tolerant to label noise for multiclass classification problems. These results generalize the existing results on noise-tolerant loss functions for binary classification. We study some of the widely used loss functions in deep networks and show that the loss function based on mean absolute value of error is inherently robust to label noise. Thus standard back propagation is enough to learn the true classifier even under label noise. Through experiments, we illustrate the robustness of risk minimization with such loss functions for learning neural networks.

연구 동기 및 목표

• 다중 클래스 분류에서 레이블 노이즈에 강건한 손실 함수의 분석적 조건을 제공한다.
• 이진 노이즈 강건성 결과를 다중 클래스 설정으로 일반화한다.
• 강건성 조건을 만족하는 일반적으로 사용되는 손실 함수를 식별하고, 특히 MAE에 중점을 둔다.
• 딥 네트워크에서 이러한 손실 함수의 강건성을 경험적으로 시연한다.

제안 방법

• L-위험과 노이즈 모델(대칭/균등, 간단 비균등, 클래스 조건부)을 정의한다.
• 손실 함수가 노이즈에 강건하도록 하는 충분 조건(대칭성 조건과 관련 경계)을 확립한다.
• 대칭, 간단 비균일, 클래스 조건부 노이즈에 대한 강건성 결과(정리 1–3)를 입증한다.
• MAE가 대칭 조건을 만족하여 레이블 노이즈에 강건함을 보여준다.
• 다양한 노이즈 체계 하에서 이미지 및 텍스트 데이터 세트에 대해 MAE, MSE, CCE를 실험적으로 비교한다.

실험 결과

연구 질문

• RQ1 다중 클래스 분류에서 손실 함수가 레이블 노이즈에 강건하려면 어떤 조건이 필요한가?
• RQ2 이러한 조건을 만족하는 일반적인 손실 함수는 무엇이며 노이즈 하에서의 성능은 어떠한가?
• RQ3 아키텍처나 추정 절차를 수정하지 않고도 MAE가 심층 네트워크에서 본질적인 강건성을 제공할 수 있는가?
• RQ4 데이터 세트와 노이즈 유형에 따라 MAE와 CCE, MSE의 경험적 강건성은 어떠한가?

주요 결과

• MAE는 제안된 대칭성 조건을 만족하므로 다중 클래스 설정에서 대칭 레이블 노이즈하에 노이즈에 강인한 특성을 가진다.
• 대칭 손실은 노이즈 비율이 eta < (k-1)/k 이면 균일한 레이블 노이즈에 강인하다.
• 간단 비균일 노이즈의 경우, 노이즈 없는 위험이 0이면 손실이 강건하고, 그렇지 않으면 노이즈 위험에 대한 경계가 도출된다.
• 클래스 조건부 노이즈 하에서 강건성은 노이즈 매트릭스가 대각선 우세하고 손실이 주어진 바대로 경계가 있을 때 성립한다.
• 실험 결과는 MAE가 MNIST, RCV1, CIFAR-10, IMDB 및 기타 데이터 세트에서 대칭 및 클래스 조건부 레이블 노이즈 하에 CCE보다 테스트 정확도를 더 잘 유지하는 경우가 많음을 보여준다.
• MSE는 경계성 때문에 중간 정도의 강건성을 제공하지만, 무거운 레이블 노이즈 하에서는 MAE보다 덜 강건하다.