[논문 리뷰] Peer Loss Functions: Learning from Noisy Labels without Knowing Noise Rates

Yang Liu, Hongyi Guo|arXiv (Cornell University)|2019. 10. 08.

Machine Learning and Data Classification참고 문헌 49인용 수 61

한 줄 요약

노이즈가 있는 레이블에서 ERM 내 학습을 가능하게 하는 피어 손실 함수(peer loss functions)를 도입하고, 사전 노이즈율 지식이나 추정 없이 불변 위험(invariant risk) 특성을 보였으며, 광범위한 실험으로 입증한다.

ABSTRACT

Learning with noisy labels is a common challenge in supervised learning. Existing approaches often require practitioners to specify noise rates, i.e., a set of parameters controlling the severity of label noises in the problem, and the specifications are either assumed to be given or estimated using additional steps. In this work, we introduce a new family of loss functions that we name as peer loss functions, which enables learning from noisy labels and does not require a priori specification of the noise rates. Peer loss functions work within the standard empirical risk minimization (ERM) framework. We show that, under mild conditions, performing ERM with peer loss functions on the noisy dataset leads to the optimal or a near-optimal classifier as if performing ERM over the clean training data, which we do not have access to. We pair our results with an extensive set of experiments. Peer loss provides a way to simplify model development when facing potentially noisy training labels, and can be promoted as a robust candidate loss function in such situations.

연구 동기 및 목표

• 사전 노이즈 비율 지식 없이 노이즈 라벨로부터의 학습을 촉진한다.
• 비대칭 레이블 노이즈를 다루기 위해 표준 ERM과 통합되는 피어 손실 함수를 제안한다.
• 피어 손실을 갖는 ERM이 깨끗한 데이터에서 거의 최적의 분류기를 회복한다는 이론적 보장을 제공한다.
• 예비 다중 클래스 확장을 포함하여 실증적 효과와 일반화를 입증한다.

제안 방법

• 피어 손실을 노이즈 라벨을 기준으로 한 상관된 합의(CA) 피어-예측 점수의 음수로 정의한다.
• 피어 손실이 기대값에서 레이블 노이즈에 대해 불변임함을 보인다(보조정리 및 정리).
• 최적성 보장을 도출한다: 동등한 사전(prior) p=0.5일 때 깨끗한 데이터와 동일한 최소해를 얻고, 불균등한 사전은 근사 보장을 제공한다.
• 불균등한 사전을 다루기 위해 알파-가중 피어 손실(alpha-weighted peer loss)을 도입하고 보정(calibration) 및 일반화 결과를 제공한다.
• 피어 손실이 분류 보정(classification-calibrated)되는 조건을 제시하고 볼록성(convexity) 고려사항을 논의한다.

실험 결과

연구 질문

• RQ1 노이즈 비율을 모른 채 피어 손실을 갖는 ERM이 베이즈 최적 분류기를 회복할 수 있는가?
• RQ2 동등한 클래스 사전과 불평등한 클래스 사전 및 비대칭 레이블 노이즈 상황에서 피어 손실의 성능은 어떠한가?
• RQ3 이진 및 다중 클래스 설정에서 피어 손실의 보정(calibration) 및 일반화 특성은 무엇인가?

주요 결과

• 피어 손실은 레이블 노이즈 하에서 기대 위험이 불변임을 보여주며, ERM이 깨끗한 데이터 목표를 목표로 하도록 한다(정리 2).
• 동등한 클래스 사전(p=0.5)일 때 피어 손실의 최소화는 깨끗한 0-1 위험의 최소해와 동일한 최소해를 달성한다(정리 2).
• 불균등한 사전에서 피어 손실은 사전이 균형에 더 가까워질수록 좁혀지는 근사 최적성 경계(bounds)를 제공한다(정리 3).
• 알파-가중 피어(alpha-peer) 변형은 더 일반적인 조건하에서 최적성을 회복하고 보정 보장을 제공한다(정리 4).
• 본 접근법은 수렴 및 유한 샘플 경계(finite-sample bounds)를 보이는 보정(calibration) 및 일반화 분석을 포함한다(정리 5–7).
• 실험은 실용적 효과성과 강건성을 보여주며 다중 클래스 설정으로의 확장을 포함한다.