[논문 리뷰] On Symmetric Losses for Learning from Corrupted Labels

Nontawat Charoenphakdee, Jongyeong Lee외 1명|arXiv (Cornell University)|2019. 01. 27.

Machine Learning and Algorithms참고 문헌 42인용 수 36

한 줄 요약

이 논문은 손상된 라벨 하에서 학습을 위한 대칭 손실을 분석하고, BER 및 AUC 최적화에 대한 우수한 특성을 증명하며, 볼록한 바리어(barrier) 힌지 손실을 제안하고 실험적으로 강건성을 검증한다.

ABSTRACT

This paper aims to provide a better understanding of a symmetric loss. First, we emphasize that using a symmetric loss is advantageous in the balanced error rate (BER) minimization and area under the receiver operating characteristic curve (AUC) maximization from corrupted labels. Second, we prove general theoretical properties of symmetric losses, including a classification-calibration condition, excess risk bound, conditional risk minimizer, and AUC-consistency condition. Third, since all nonnegative symmetric losses are non-convex, we propose a convex barrier hinge loss that benefits significantly from the symmetric condition, although it is not symmetric everywhere. Finally, we conduct experiments to validate the relevance of the symmetric condition.

연구 동기 및 목표

• priors 없이 손상된 라벨에서의 학습 및 BER/AUC 최적화를 위한 대칭 손실의 활용을 동기 부여한다.
• 대칭 손실의 이론적 특성 확립(분류 보정성, 초과 위험, 조건부 위험 최소화, AUC-일관성).
• 볼록한 바리어 힌지 손실 도입으로 대칭성의 이점을 유지하면서도 계산 가능성 확보.
• 라벨 손상 하에서 대칭 손실이 비대칭 손실보다 우수한 성능을 보인다는 것을 실험적으로 시연한다.

제안 방법

• ell(z)+ell(-z)가 상수인 대칭 마진 손실을 정의하고 손상된 라벨 하에서의 위험을 분석한다.
• BER와 AUC에 대한 깨끗한 대리 위험과 손상된 대리 위험 사이의 관계를 도출하고 대칭성이 초과 용어를 상수로 만든다고 보인다.
• 대칭 손실의 분류 보정 조건을 증명하고 초과 위험 한계를 확립한다.
• 대칭성을 부분 도메인에서 활용하는 볼록하고 비부정을 가지며 부분적으로 대칭인 바리어 힌지 손실을 도입한다.
• 라벨 손상 하에서 BER 및 AUC 작업에 대해 제로-원, 힌지, 시그모이드, 언힌지드, 바리어 등 다양한 손실을 비교한다.

실험 결과

연구 질문

• RQ1 surrogate 손실의 대칭성이 사전 정보를 추정하지 않고도 깨끗한 BER/AUC 위험과 손상된 BER/AUC 위험의 동일한 최솟값을 보장하는가?
• RQ2 손상된 라벨 하에서 대칭 손실은 비대칭 손실에 비해 BER/AUC 성능 및 강건성 측면에서 어떻게 비교되는가?
• RQ3 근사 대칭성(barrier hinge)을 만족하는 볼록 손실이 최적화 친화성을 유지하면서도 강건성을 유지할 수 있는가?
• RQ4 이 설정에서 대칭 손실의 기본 속성(분류 보정, 초과 위험, AUC-일관성)은 무엇인가?

주요 결과

• 대칭 손실은 손상된 BER/AUC 위험과 깨끗한 BER/AUC 위험에 대해 동일한 최소점을 산출한다(클래스 사전 추정 필요 없음).
• 비대칭 손실은 초과 항을 도입하여 손상된 위험과 깨끗한 위험 사이에서 최솟값을 이동시킬 수 있지만, 대칭성은 BER와 AUC에 대해 이러한 항을 제거한다.
• 충분한 조건: l(z)+l(-z)가 상수이고 l'(0)<0인 비증가적 대칭 손실은 분류 보정성과 AUC 일관성을 모두 갖는다.
• 바리어 힌지 손실은 볼록하고 비부정을 가지며 영역에서 대칭이고 경험적으로 강건하며 손상 하에서 보통 표준 대칭 손실보다 우수하다.
• 실험 결과는 대칭 손실(시그모이드, 언힌지드, 바리어)이 라벨 손상 증가에 따라 여러 데이터셋과 모델에서 비대칭 손실을 다수 능가함을 보여준다.