[논문 리뷰] Normalized Loss Functions for Deep Learning with Noisy Labels

Xingjun Ma, Hanxun Huang외 4명|arXiv (Cornell University)|2020. 06. 24.

Machine Learning and Data Classification인용 수 125

한 줄 요약

이 논문은 어떤 손실도 정규화를 통해 노이즈 라벨에 대해 강건하게 만들 수 있음을 보이고, 과소적합 해결을 위한 Active Passive Loss (APL)을 도입하며, 무거운 라벨 노이즈 하에서 벤치마크에서 최첨단 성능을 입증한다.

ABSTRACT

Robust loss functions are essential for training accurate deep neural networks (DNNs) in the presence of noisy (incorrect) labels. It has been shown that the commonly used Cross Entropy (CE) loss is not robust to noisy labels. Whilst new loss functions have been designed, they are only partially robust. In this paper, we theoretically show by applying a simple normalization that: any loss can be made robust to noisy labels. However, in practice, simply being robust is not sufficient for a loss function to train accurate DNNs. By investigating several robust loss functions, we find that they suffer from a problem of underfitting. To address this, we propose a framework to build robust loss functions called Active Passive Loss (APL). APL combines two robust loss functions that mutually boost each other. Experiments on benchmark datasets demonstrate that the family of new loss functions created by our APL framework can consistently outperform state-of-the-art methods by large margins, especially under large noise rates such as 60% or 80% incorrect labels.

연구 동기 및 목표

• 노이즈 라벨과 함께 강건한 학습을 유도하고 기존의 강건 손실들을 비교한다.
• 어떤 손실이든 라벨 노이즈에 대해 강건하도록 만드는 정규화 기법을 제안한다.
• 강건 손실에서의 과소적합을 확인하고 Active Passive Loss (APL) 프레임워크를 설계한다.
• 높은 노이즈 비율에서 벤치마크 데이터셋에 대해 APL의 강건성과 향상된 학습을 실증적으로 입증한다.

제안 방법

• 노이즈 라벨에 대한 강건성을 달성하기 위해 L_norm = L(f(x), y) / sum_j L(f(x), j)로 손실을 정규화한다.
• 활성 손실과 수동 손실을 정의하고 비교한다; 활성은 p(y|x)를 최대화하고 수동은 다른 클래스 확률도 최소화한다.
• Active Passive Loss (APL)을 L_APL = alpha * L_Active + beta * L_Passive로 제안하고 특정 조건에서 강건성이 보존된다고 증명한다.
• 기존 강건 손실들(예: CE, MAE, RCE, NCE, NFL)을 활성 또는 수동으로 분류하고 APL이 이를 어떻게 결합하여 과소적합을 해결하는지 보여준다.
• 정규화된 손실에 대해 대칭 및 비대칭 노이즈에서 잡음 견디기를 보이는 이론적 보조정리들을 제공한다.
• MNIST, CIFAR-10/100, WebVision에서 APL을 최첨단 방법들과 비교하는 경험적 연구를 수행한다.

실험 결과

연구 질문

• RQ1 다중 클래스 분류에서 노멀라이제이션이 어떤 손실이든 노이즈 라벨에 대해 강건하게 만들 수 있는가?
• RQ2 왜 일부 강건 손실이 과소적합하는가, 그리고 활성-수동 결합 프레임워크가 강건성과 학습을 모두 개선할 수 있는가?
• RQ3 APL 프레임워크가 높은 노이즈 비율에서 최첨단 강건성과 학습 효율성을 달성하는가?
• RQ4 단순한 데이터셋과 복잡한 데이터셋 간에 활성 항과 수동 항의 균형은 어떻게 설정해야 하는가?
• RQ5 기존 손실의 정규화된 변형이 강건성을 유지하면서 효과적 학습을 가능하게 하는가?

주요 결과

• 정규화된 손실은 특정 비율 조건에서 대칭 및 비대칭 라벨 노이즈에 강건하다.
• 간단한 정규화는 강건성을 유지하지만 과소적합으로 인해 높은 정확도에는 단독으로 충분하지 않다.
• APL이 활성 손실과 수동 손실을 결합하면 강건성과 향상된 학습 효율성을 제공하며 높은 노이즈(60–80%)에서 최첨단 방법을 능가한다.
• 정규화된 손실의 스케일링이 일관되게 과소적합을 해결하지 못하며, 적절한 활성-수동 균형이 중요하다.
• CIFAR-10/100 및 MNIST에서 APL 변형들(NCE+RCE, NFL+RCE 등)은 GCE, NLNL, SCE와 비교했을 때 소음 설정 전반에서 경쟁력 있거나 우수한 성능을 달성한다.