[论文解读] Learning Classifiers with Fenchel-Young Losses: Generalized Entropies, Margins, and Algorithms

Mathieu Blondel, André F. T. Martins+1 more|arXiv (Cornell University)|May 24, 2018

Neural Networks and Applications被引用 23

一句话总结

本文提出Fenchel-Young（F-Y）损失作为从正则化函数构建凸损失函数的统一框架，能够生成具备边际和稀疏概率分布等优良特性的新损失函数。研究表明，F-Y损失可推广逻辑回归、合页损失和稀疏最大损失，并推导出高效的计算算法。

ABSTRACT

This paper studies Fenchel-Young losses, a generic way to construct convex loss functions from a regularization function. We analyze their properties in depth, showing that they unify many well-known loss functions and allow to create useful new ones easily. Fenchel-Young losses constructed from a generalized entropy, including the Shannon and Tsallis entropies, induce predictive probability distributions. We formulate conditions for a generalized entropy to yield losses with a separation margin, and probability distributions with sparse support. Finally, we derive efficient algorithms, making Fenchel-Young losses appealing both in theory and practice.

研究动机与目标

• 提出一种基于Fenchel对偶与正则化的系统性、通用框架，用于构建凸损失函数。
• 将合页损失、逻辑损失和稀疏最大损失等知名损失统一于单一理论框架之下。
• 刻画哪些广义熵可生成具有分离边际和稀疏概率分布的损失函数。
• 推导计算相关概率分布与梯度的高效算法。
• 在稀疏标签比例估计等任务中展示F-Y损失的实际应用价值。

提出的方法

• 通过Fenchel共轭定义正则化预测函数，将原始得分映射为预测结果，通过权衡亲和性与正则化实现最优平衡。
• 将Fenchel-Young损失构造为真实标签与预测分布之间的Bregman散度，其来源于正则化函数Ω。
• 利用Fenchel-Young不等式确保损失函数在得分向量θ上为凸函数。
• 证明当Ω为广义熵（如香农或Tsallis熵）时，所得损失为恰当评分规则，且具有明确定义的预测分布。
• 推导计算预测函数及其梯度的高效算法，包括针对非光滑正则化器（如单纯形投影）的情形。
• 建立诱导概率分布呈现稀疏性以及损失函数表现出分离边际的条件。

实验结果

研究问题

• RQ1 Fenchel-Young损失能否将合页损失、逻辑损失和稀疏最大损失等现有凸损失函数统一于单一框架之下？
• RQ2 何种广义熵的条件可确保F-Y损失诱导出分离边际？
• RQ3 在何种条件下，由正则化函数诱导的预测函数会产生稀疏概率分布？
• RQ4 如何为F-Y损失推导高效优化算法，特别是当正则化函数为非光滑时？
• RQ5 在Fenchel-Young损失的背景下，广义熵、边际与稀疏性之间存在何种关系？

主要发现

• Fenchel-Young损失将合页损失、逻辑损失和稀疏最大损失作为单一基于正则化与对偶性的框架下的特例进行推广与统一。
• F-Y损失在得分向量θ上为凸函数，确保了良好的优化性质。
• 当正则化函数Ω为广义熵（如香农或Tsallis熵）时，所得损失为恰当评分规则，且具有明确定义的预测分布。
• 损失函数具有分离边际的充要条件是正则化函数Ω为严格凸且为Legendre型。
• 当正则化函数为非光滑时（如单纯形的指示函数），预测概率分布呈现稀疏性，从而产生sparsemax。
• 当Ω为Legendre型时，Fenchel-Young损失与使用标准反链接函数的复合损失一致；但F-Y损失更通用，可处理不可逆或非Legendre型的情形。