[論文レビュー] A survey and taxonomy of loss functions in machine learning

Lorenzo Ciampiconi, Adam Elwood+3 more|arXiv (Cornell University)|Jan 13, 2023

Machine Learning and Data Classification被引用数 24

ひとこと要約

本論文は、分類、回帰、ランキング、生成モデル、およびエネルギーに基づくモデリングの33個の損失関数を調査し、それらをタスク、学習パラダイム、基礎となる原理によって整理する分類体系を提示する。

ABSTRACT

Most state-of-the-art machine learning techniques revolve around the optimisation of loss functions. Defining appropriate loss functions is therefore critical to successfully solving problems in this field. In this survey, we present a comprehensive overview of the most widely used loss functions across key applications, including regression, classification, generative modeling, ranking, and energy-based modeling. We introduce 43 distinct loss functions, structured within an intuitive taxonomy that clarifies their theoretical foundations, properties, and optimal application contexts. This survey is intended as a resource for undergraduate, graduate, and Ph.D. students, as well as researchers seeking a deeper understanding of loss functions.

研究の動機と目的

• 機械学習で用いられる損失関数の統一的な分類体系を提供する。
• よく用いられる33個の損失関数を整理し、形式的に定義する。
• 各損失が異なるタスクで適用可能性、利点、欠点を説明する。
• 初心者と上級の実務家の両方に、適切な損失を選択するための参考を提供する。

提案手法

• 損失関数を数学的に定義し、統一的な枠組みの下に整理する。
• タスク（回帰、分類、ランキング、生成、エネルギーベース）と学習パラダイム（教師ありから教師なしまで）および戦略（確率的、マージンベース、誤差ベース）で損失をカテゴリ分けする分類体系を提案する。
• 正則化を損失の拡張として説明し、一般的なノルム（L1対L2）を比較する。
• 回帰、分類、生成モデリング、ランキング、エネルギーベースの損失について、正式な定義と典型的な適用例を含む詳解を提供する。

実験結果

リサーチクエスチョン

• RQ1 主要な機械学習タスクで最も一般的に使用される損失関数は何であり、それらを体系的にどう分類できるか？
• RQ2 さまざまな問題設定における各損失の理論的トレードオフと実践的考慮事項（利点/欠点）は何か？
• RQ3 一貫した分類体系は新しい問題に対して実務家が適切な損失を選択するのにどう役立つか？
• RQ4 正則化と最適化戦略が異なる損失系にどのように相互作用するか？

主な発見

• 著者らは五つの主要なタスクカテゴリにまたがる33個の広く用いられる損失関数を特定し、整理している。
• 損失をタスクタイプ、学習パラダイム、基礎となる最適化戦略に結びつける構造化された分類体系を提示している。
• 本論文は各損失の正式な定義、理論的裏付け、そしていつ使用すべきかに関する実践的な指針を提供する。
• 損失の拡張による正則化（L1/L2）は、多くの損失に適用可能な一般的な手法として体系化されている。
• この調査は、勾配ベースおよび導関数を用いない技法を含む、損失設計と最適化手法の相互作用を強調している。