[논문 리뷰] A survey and taxonomy of loss functions in machine learning

Lorenzo Ciampiconi, Adam Elwood외 3명|arXiv (Cornell University)|2023. 01. 13.

Machine Learning and Data Classification인용 수 24

한 줄 요약

이 논문은 분류, 회귀, 순위, 생성 모델링, 에너지 기반 모델링에 걸친 33개의 손실 함수를 조사하고, 작업, 학습 패러다임, 근본 원리에 따라 정리한 분류체를 제시한다.

ABSTRACT

Most state-of-the-art machine learning techniques revolve around the optimisation of loss functions. Defining appropriate loss functions is therefore critical to successfully solving problems in this field. In this survey, we present a comprehensive overview of the most widely used loss functions across key applications, including regression, classification, generative modeling, ranking, and energy-based modeling. We introduce 43 distinct loss functions, structured within an intuitive taxonomy that clarifies their theoretical foundations, properties, and optimal application contexts. This survey is intended as a resource for undergraduate, graduate, and Ph.D. students, as well as researchers seeking a deeper understanding of loss functions.

연구 동기 및 목표

• 머신 러닝에서 사용되는 손실 함수의 통일된 분류 체계를 제공한다.
• 널리 사용되는 33개의 손실 함수를 카탈로그화하고 형식적으로 정의한다.
• 다양한 작업에서 각 손실의 적용 가능성, 장점, 단점을 설명한다.
• 초보자와 고급 실무자가 적절한 손실을 선택할 수 있도록 참고 자료를 제공한다.

제안 방법

• 손실 함수를 수학적으로 정의하고 통일된 프레임워크 아래 모아 정리한다.
• 손실을 작업별(회귀, 분류, 순위, 생성 모델, 에너지 기반) 및 학습 패러다임(감독에서 비감독까지)과 전략(확률적, 여백 기반, 오차 기반)으로 분류하는 분류 체계를 제안한다.
• 정규화를 손실 증강으로 설명하고 일반적인 노름(L1 vs L2)을 비교한다.
• 회귀, 분류, 생성 모델링, 순위 및 에너지 기반 손실에 대한 공식 정의와 일반적 응용 사례를 위한 자세한 섹션을 제공한다.

실험 결과

연구 질문

• RQ1 주요 ML 작업 전반에서 가장 일반적으로 사용되는 손실 함수는 무엇이며 이를 체계적으로 분류할 수 있는가?
• RQ2 위치별 문제 설정에서 각 손실의 이론적 트레이드오프와 실제 고려사항(장점/단점)은 무엇인가?
• RQ3 일관된 분류 체계가 실무자가 새로운 문제에 적합한 손실을 선택하는 데 어떻게 도움이 되는가?
• RQ4 정규화 및 최적화 전략은 서로 다른 손실 계열과 어떻게 상호작용하는가?

주요 결과

• 저자들은 다섯 가지 주요 작업 범주에 걸쳐 33개의 널리 사용되는 손실 함수를 식별하고 정리한다.
• 그들은 손실을 작업 유형, 학습 패러다임 및 근본적인 최적화 전략과 연결하는 구조화된 분류 체계를 제시한다.
• 논문은 각 손실을 사용할 때의 공식 정의, 이론적 지지 및 실용적 가이드를 제공한다.
• 손실 증가에 의한 규제화(L1/L2)가 많은 손실에 일반적인 방법으로 체계화되어 적용 가능하다는 점을 보여준다.
• 고찰은 미분 기반 및 도함수 없는 기법을 포함한 최적화 방법과의 상호 작용에 중점을 둔다.