[论文解读] A survey and taxonomy of loss functions in machine learning

Lorenzo Ciampiconi, Adam Elwood+3 more|arXiv (Cornell University)|Jan 13, 2023

Machine Learning and Data Classification被引用 24

一句话总结

本文对分类、回归、排序、生成建模和基于能量的建模等领域的33种损失函数进行了综述，并提出一个将它们按任务、学习范式和基本原理进行组织的分类法。

ABSTRACT

Most state-of-the-art machine learning techniques revolve around the optimisation of loss functions. Defining appropriate loss functions is therefore critical to successfully solving problems in this field. In this survey, we present a comprehensive overview of the most widely used loss functions across key applications, including regression, classification, generative modeling, ranking, and energy-based modeling. We introduce 43 distinct loss functions, structured within an intuitive taxonomy that clarifies their theoretical foundations, properties, and optimal application contexts. This survey is intended as a resource for undergraduate, graduate, and Ph.D. students, as well as researchers seeking a deeper understanding of loss functions.

研究动机与目标

• 提供机器学习中使用的损失函数的统一分类法。
• 编制并正式定义33种广泛使用的损失函数。
• 在不同任务中解释每种损失的适用性、优点和缺点。
• 为初学者和高级从业者提供一个选择合适损失函数的参考。

提出的方法

• 以数学方式定义损失函数，并将其聚合在一个统一框架下。
• 提出一个分类法，将损失按任务（回归、分类、排序、生成、基于能量）以及学习范式（从有监督到无监督）和策略（概率、基于边际、基于误差）进行分类。
• 将正则化描述为损失增强，并比较常见范数（L1 与 L2）。
• 为回归、分类、生成建模、排序以及基于能量的损失提供正式定义和典型应用的详细章节。

实验结果

研究问题

• RQ1 在主要的机器学习任务中最常用的损失函数有哪些，以及如何进行系统化分类？
• RQ2 在不同问题情境中每种损失的理论权衡和实际考虑（优点/缺点）是什么？
• RQ3 如何用一个连贯的分类法帮助从业者为新问题选择合适的损失？
• RQ4 正则化和优化策略如何与不同的损失家族相互作用？

主要发现

• 作者在五大任务类别中识别并组织了33个广泛使用的损失函数。
• 他们提出一个结构化的分类法，将损失函数与任务类型、学习范式及潜在的优化策略联系起来。
• 本文提供正式定义、理论支撑以及在何时使用每种损失的实际指南。
• 通过损失增强的正则化（L1/L2）被系统化为适用于多种损失的通用方法。
• 该综述强调损失设计与优化方法之间的相互作用，包括基于梯度和无导数的技术。