[论文解读] A surrogate loss function for optimization of $F_β$ score in binary classification with imbalanced data

Namgil Lee, Heejung Yang+1 more|arXiv (Cornell University)|Apr 3, 2021

Imbalanced Data Classification Techniques参考文献 21被引用 4

一句话总结

本文提出了一种用于不平衡二分类中优化 $F_\beta$ 分数的可微分代理损失函数，使深度神经网络能够通过梯度方法训练以直接提升 $F_\beta$ 性能。该方法通过一种新颖的损失公式近似 $F_\beta$ 分数的梯度路径，在基准数据集上的 ResNet 模型中，其 $F_\beta$ 分数优于标准损失函数（如 BCE 和宏软 $F_\beta$）。

ABSTRACT

The $F_β$ score is a commonly used measure of classification performance, which plays crucial roles in classification tasks with imbalanced data sets. However, the $F_β$ score cannot be used as a loss function by gradient-based learning algorithms for optimizing neural network parameters due to its non-differentiability. On the other hand, commonly used loss functions such as the binary cross-entropy (BCE) loss are not directly related to performance measures such as the $F_β$ score, so that neural networks optimized by using the loss functions may not yield optimal performance measures. In this study, we investigate a relationship between classification performance measures and loss functions in terms of the gradients with respect to the model parameters. Then, we propose a differentiable surrogate loss function for the optimization of the $F_β$ score. We show that the gradient paths of the proposed surrogate $F_β$ loss function approximate the gradient paths of the large sample limit of the $F_β$ score. Through numerical experiments using ResNets and benchmark image data sets, it is demonstrated that the proposed surrogate $F_β$ loss function is effective for optimizing $F_β$ scores under class imbalances in binary classification tasks compared with other loss functions.

研究动机与目标

• 解决在不平衡数据设置下，标准可微分损失函数（如 BCE）与性能度量（如 $F_\beta$）之间的不匹配问题。
• 研究性能度量（如 $F_\beta$）的梯度条件，并与标准损失函数进行比较。
• 设计一种代理损失函数，使其在优化过程中能紧密逼近 $F_\beta$ 分数的梯度动态。
• 在类别不平衡条件下，通过深度学习模型（如 ResNet）验证所提出的代理 $F_\beta$ 损失在提升 $F_\beta$ 分数方面的有效性。
• 通过引入可调参数 $q$，将代理损失推广为对标签噪声具有鲁棒性的形式。

提出的方法

• 推导 $F_\beta$ 分数的梯度条件，并与 BCE 等标准损失函数的梯度进行比较。
• 提出一种代理 $F_\beta$ 损失函数，使其在关键点处与 $F_\beta$ 分数的梯度方向一致。
• 将代理损失公式化为模型输出与真实标签的可微函数，确保与随机梯度下降的兼容性。
• 引入代理损失的广义形式，通过参数 $q$ 控制对标签噪声的鲁棒性，实现 MAE 与 BCE 之间的插值。
• 通过散点图比较代理损失与实际 $F_\beta$ 分数在训练数据上的表现，验证梯度近似的有效性。
• 使用所提出的损失函数训练 ResNet-34 模型，并在不平衡图像基准数据集上与 BCE、焦点损失和宏软 $F_\beta$ 进行性能对比。

实验结果

研究问题

• RQ1 能否构建一种可微分代理损失，使其在优化过程中的梯度路径与 $F_\beta$ 分数的梯度路径高度近似？
• RQ2 在不平衡数据上，所提出的代理 $F_\beta$ 损失与 BCE 和宏软 $F_\beta$ 等标准损失相比，在优化 $F_\beta$ 性能方面表现如何？
• RQ3 当真实 $F_\beta$ 分数不可微且不连续时，该代理损失是否仍能保持有效的优化能力？
• RQ4 该代理损失能否推广至多分类设置，以提升对标签噪声的鲁棒性？
• RQ5 与可能具有误导性的准确率相比，该代理损失在多大程度上提升了 $F_\beta$ 分数？

主要发现

• 所提出的代理 $F_\beta$ 损失在所有对比损失函数中于验证集上实现了最高的 $F_1$ 分数，证明了其在优化 $F_\beta$ 指标方面的有效性。
• 散点图显示，所有 $\beta$ 值下，代理 $F_\beta$ 损失与实际 $F_\beta$ 分数之间存在强烈的线性相关性，证实了梯度路径近似的有效性。
• 尽管宏软 $F_\beta$ 损失在测试准确率上更高，但代理 $F_\beta$ 损失在优化 $F_\beta$ 分数方面优于后者。
• 在大样本极限下，代理 $F_\beta$ 损失的梯度路径与 $F_\beta$ 分数的梯度路径高度近似，验证了该方法的理论基础。
• 广义代理 $F_{\beta,q}$ 损失在 $q \to 0$ 时收敛至原始代理 $F_\beta$ 损失，而当 $q=1$ 时退化为 MAE 损失，表明其在噪声鲁棒性方面具有灵活性。
• 在 ResNet-34 模型上的数值实验确认，与 BCE 及其他代理损失相比，代理 $F_\beta$ 损失在不平衡图像数据集上能带来更优的 $F_\beta$ 性能。