[논문 리뷰] Evaluating the Impact of Loss Function Variation in Deep Learning for Classification

Simon Dräger, Jannik Dunkelau|arXiv (Cornell University)|2022. 10. 28.

Machine Learning and Data Classification인용 수 4

한 줄 요약

이 논문은 여러 데이터셋을 대상으로 다양한 손실 함수—MSE, MAE, CCE, KLD—가 딥러닝 분류 성능에 미치는 영향을 실증적으로 평가한다. 그 결과, Kullback-Leibler Divergence (KLD)가 여섯 개 데이터셋 중 네 개에서 널리 사용되는 Cross-Entropy (CCE) 손실보다 뛰어난 성능을 보이며, CCE를 고정된 선택으로 삼는 관성적인 태도에 도전하고, 손실 함수를 고정된 축으로 보다는 조정 가능한 하이퍼파라미터로 간주해야 한다고 주장한다.

ABSTRACT

The loss function is arguably among the most important hyperparameters for a neural network. Many loss functions have been designed to date, making a correct choice nontrivial. However, elaborate justifications regarding the choice of the loss function are not made in related work. This is, as we see it, an indication of a dogmatic mindset in the deep learning community which lacks empirical foundation. In this work, we consider deep neural networks in a supervised classification setting and analyze the impact the choice of loss function has onto the training result. While certain loss functions perform suboptimally, our work empirically shows that under-represented losses such as the KL Divergence can outperform the State-of-the-Art choices significantly, highlighting the need to include the loss function as a tuned hyperparameter rather than a fixed choice.

연구 동기 및 목표

• 딥러닝 분류에서 Cross-Entropy (CCE)를 기본 손실 함수로 널리, 무비판적으로 채택하는 것에 도전하기 위해.
• 다양한 데이터셋을 통해 다양한 손실 함수의 변화가 모델 성능, 수렴성, 안정성에 미치는 영향을 실증적으로 평가하기 위해.
• 사용이 미흡한 손실 함수들, 예를 들어 KLD가 다중 분류 설정에서 최신 기준 손실 함수를 크게 능가할 수 있음을 보여주기 위해.
• 손실 함수를 고정된 원칙이 아니라 최적화 가능한 하이퍼파라미터로 간주해야 한다고 주장하기 위해.
• f-발산과 같은 정보 이론적 손실 함수나 맞춤형 손실 함수에 대한 향후 연구를 장려하기 위해.

제안 방법

• 연구는 네 가지 표준 손실 함수—Mean Squared Error (MSE), Mean Absolute Error (MAE), Categorical Cross-Entropy (CCE), Kullback-Leibler Divergence (KLD)—를 평가한다.
• 각 손실 함수는 동일한 딥 네ural 네트워크 아키텍처를 사용하여 여섯 개의 벤치마크 데이터셋—Mushroom, Phishing, MNIST, Fashion-MNIST, CIFAR-10, CharFontIm—에 적용된다.
• 모델은 동일한 옵티마이저(Adam)와 하이퍼파라미터를 사용해 100 에포크 동안 훈련되며, 성능은 테스트 정확도, 평균의 표준오차(SEM), F1-score (ϕ), AUC로 측정된다.
• KLD는 수학적으로 CCE에서 레이블 엔트로피를 뺀 것으로 분해되어, 정보 이론적 해석을 통해 데이터를 인코딩하는 데 추가로 필요한 비트 수로 해석된다.
• 통계적 신뢰성을 확보하기 위해 다수의 랜덤 시드를 사용해 실험을 반복하고 평균 성능 및 표준오차를 계산한다.
• 정확도와 강건성 지표(ϕ 및 AUC)를 모두 사용해 손실 함수 간 성능을 비교하며, 결과는 직접 비교를 위한 표로 보고된다.

실험 결과

연구 질문

• RQ1 손실 함수의 선택이 딥 네트워크의 최종 분류 정확도에 상당한 영향을 미치는가?
• RQ2 CCE처럼 널리 채택된 손실 함수와는 달리 덜 흔한 손실 함수인 KLD가 표준 분류 작업에서 CCE를 능가할 수 있는가?
• RQ3 다양한 손실 함수가 표준오차 및 강건성 지표로 측정된 모델의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ4 왜 MAE는 회귀에서 이상치에 강건함에도 불구하고 복잡한 이미지 데이터셋에서는 성능이 열등한가?
• RQ5 딥러닝 파이프라인에서 손실 함수를 고정된 기본값이 아니라 하이퍼파라미터로 간주해야 할 정도로 어느 정도까지 여야 하는가?

주요 결과

• MNIST 데이터셋에서는 MAE가 99.30% ± 0.01%의 테스트 정확도를 기록해 CCE(98.99% ± 0.03%)와 KLD(98.84% ± 0.04%)를 모두 뛰어넘었으며, 이는 조건부 중앙값을 학습하는 데 효과적일 수 있음을 시사한다.
• Mushroom 데이터셋에서는 KLD가 100.00% ± 0.00%의 정확도를 기록해 CCE(99.67% ± 0.10%)와 MSE(99.69% ± 0.26%)를 뛰어넘었으며, 완벽한 F1-score와 AUC를 확보했다.
• Fashion-MNIST에서는 KLD가 90.47% ± 0.11%의 정확도를 기록해 CCE(88.60% ± 0.11%)와 MSE(87.96% ± 0.04%)를 초월했고, 가장 높은 F1-score(0.89)와 AUC(0.99)를 기록했다.
• CIFAR-10에서는 CCE가 78.13% ± 0.28%의 정확도를 기록해 모든 손실 함수 중 최고였으며, KLD는 70.05% ± 0.30%로 나타나 복잡한 색상 이미지 분류에서는 CCE가 여전히 열세를 져야 한다는 것을 시사한다.
• CharFontIm에서는 KLD가 76.62% ± 0.02%의 정확도와 AUC 0.99를 기록해 CCE(69.21% ± 0.97% 정확도)와 MAE(3.37% ± 1.52%)를 모두 능가했으며, 비표준 이미지 데이터에서 뛰어난 성능을 보였다.
• KLD는 여섯 개 데이터셋 중 네 개에서 최고 또는 근접한 최고 성능을 기록했으며, 높은 F1-score와 AUC 값을 확보해 다중 분류 설정에서 강력한 일반화 능력과 강건성을 보였다.