[논문 리뷰] On Loss Functions for Deep Neural Networks in Classification

Katarzyna Janocha, Wojciech Marian Czarnecki|arXiv (Cornell University)|2017. 02. 18.

Anomaly Detection Techniques and Applications참고 문헌 7인용 수 57

한 줄 요약

본 연구는 표준 log 손실을 넘어서는 다양한 손실 함수가 심층 분류기의 학습 역학, 강인성, 성능에 어떤 영향을 미치는지 분석하고, 이론적 정당성 및 실험적 비교를 제공한다.

ABSTRACT

Deep neural networks are currently among the most commonly used classifiers. Despite easily achieving very good performance, one of the best selling points of these models is their modular design - one can conveniently adapt their architecture to specific needs, change connectivity patterns, attach specialised layers, experiment with a large amount of activation functions, normalisation schemes and many others. While one can find impressively wide spread of various configurations of almost every aspect of the deep nets, one element is, in authors' opinion, underrepresented - while solving classification problems, vast majority of papers and applications simply use log loss. In this paper we try to investigate how particular choices of loss functions affect deep models and their learning dynamics, as well as resulting classifiers robustness to various effects. We perform experiments on classical datasets, as well as provide some additional, theoretical insights into the problem. In particular we show that L1 and L2 losses are, quite surprisingly, justified classification objectives for deep nets, by providing probabilistic interpretation in terms of expected misclassification. We also introduce two losses which are not typically used as deep nets objectives and show that they are viable alternatives to the existing ones.

연구 동기 및 목표

• 대안적 손실 함수가 심층 분류기의 학습 역학에 어떤 영향을 미치는지 조사한다.
• L1 및 L2와 같은 비전통적 손실 함수에 대한 분류에서의 확률적 해석을 제공한다.
• 표준 데이터 세트에 대한 실험을 통해 다양한 손실 함수에서 입력 노이즈와 라벨 노이즈에 대한 강인성을 평가한다.
• 심층 네트에서 log 손실보다 여백(margin) 기반, 기대값(expectation) 기반 또는 기타 손실을 선호해야 하는 시점을 제시한다.

제안 방법

• L1, L2, L1 with sigma, L2 with sigma, L2 with Chebyshev, hinge 및 그 변형, log cross-entropy, squared log, Tanimoto, 및 Cauchy-Schwarz Divergence를 포함한 12개의 손실 함수 분석.
• L1 및 L2를 기대 오분류와 정규화된 기대값과 연결하는 이론적 명제를 제공한다.
• 손실의 도함수 특성과 분절 선형성, 특히 최종 층 활성화와의 관계를 조사한다.
• 다양한 깊이와 아키텍처를 가진 심층 네트워크를 사용하여 토이 데이터셋과 표준 벤치마크(MNIST, CIFAR-10)에서 손실 함수를 실험적으로 비교한다.
• 입력 및 라벨 교란 하에서 학습 속도, 최종 정확도, 그리고 노이즈 강인성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 손실 함수가 분류를 위한 심층 신경망의 학습 역학과 수렴에 어떤 영향을 미치나요?
• RQ2 L1 및 L2와 같은 회귀 지향 손실이 분류 목표로서 의미 있는 확률적 해석을 가지나요?
• RQ3 어떤 손실이 더 빠른 수렴, 더 나은 일반화, 또는 입력 및 라벨 노이즈에 대한 더 큰 강인성을 제공하나요?
• RQ4 비전통적 손실(Tanimoto, Cauchy-Schwarz Divergence)이 실제로 표준 교차 엔트로피와 어떻게 비교되나요?
• RQ5 분류 작업에서 실무자가 여백 기반, 기대값 기반, 또는 log 손실을 선호해야 하는 상황은 어떤가요?

주요 결과

• L1 및 L2 손실은 기대 오분류와 연결된 확률적 해석을 가지며, 분류 목표에 대한 강인한 관점을 제공합니다.
• 확률에 적용될 때 L1/L2의 비단조적이거나 비볼록 도함수가 나타나며, 특히 많이 오분류된 샘플에서 학습 속도를 늦춥니다.
• 여백 기반 손실(hinge 및 그 변형)은 심층 네트넷에서 더 빠른 학습과 강한 일반화를 자주 제공하며, 특히 더 깊은 아키텍처에서 그렇습니다.
• 기대 손실(L1∘σ 및 L2∘σ)은 학습 속도가 느린 경향이 있지만 입력 및 라벨 노이즈에 대한 강인성을 제공할 수 있습니다.
• Cauchy-Schwarz Divergence는 경쟁력 있게 동작하며, 보고된 설정에서 MNIST 및 CIFAR-10에서 속도와 최종 성능 면에서 때때로 log loss를 능가합니다.
• Tanimoto 손실은 특정 실험에서 노이즈에 대한 강인성을 보이며, 추가 연구 가능성을 시사합니다.