[论文解读] Benchmarking Deep AUROC Optimization: Loss Functions and Algorithmic Choices

Dixian Zhu, Xiaodong Wu+1 more|arXiv (Cornell University)|Mar 27, 2022

Imbalanced Data Classification Techniques被引用 5

一句话总结

本论文在图像和分子图数据集上对10种深度学习损失函数——成对损失与复合损失——进行了基准测试，评估了采样率、归一化和优化器等算法选择对AUROC优化的影响。复合损失在训练收敛性和泛化能力方面优于成对损失，而Adam优化器虽在训练中表现强劲，但在泛化方面表现较差。

ABSTRACT

The area under the ROC curve (AUROC) has been vigorously applied for imbalanced classification and moreover combined with deep learning techniques. However, there is no existing work that provides sound information for peers to choose appropriate deep AUROC maximization techniques. In this work, we fill this gap from three aspects. (i) We benchmark a variety of loss functions with different algorithmic choices for deep AUROC optimization problem. We study the loss functions in two categories: pairwise loss and composite loss, which includes a total of 10 loss functions. Interestingly, we find composite loss, as an innovative loss function class, shows more competitive performance than pairwise loss from both training convergence and testing generalization perspectives. Nevertheless, data with more corrupted labels favors a pairwise symmetric loss. (ii) Moreover, we benchmark and highlight the essential algorithmic choices such as positive sampling rate, regularization, normalization/activation, and optimizers. Key findings include: higher positive sampling rate is likely to be beneficial for deep AUROC maximization; different datasets favors different weights of regularizations; appropriate normalization techniques, such as sigmoid and $\ell_2$ score normalization, could improve model performance. (iii) For optimization aspect, we benchmark SGD-type, Momentum-type, and Adam-type optimizers for both pairwise and composite loss. Our findings show that although Adam-type method is more competitive from training perspective, but it does not outperform others from testing perspective.

研究动机与目标

• 解决小样本学习中深度AUROC优化缺乏系统性基准测试的问题。
• 在多种算法配置下评估10种主流损失函数（成对与复合）的性能。
• 研究正样本采样率、正则化、归一化和优化器等关键算法选择对AUROC性能的影响。
• 为实践者和研究人员提供关于选择最优损失函数和超参数以实现深度AUROC最大化的可操作见解。
• 在六个图像数据集和六个分子图数据集上开展大规模实证研究，包括包含191,027个样本的大规模CheXpert数据集。

提出的方法

• 基准测试10种损失函数：5种成对损失（PSQ, PSH, PH, PL, PSM, PBH）和5种复合损失（CSQ, CSH, CH, CL），每种损失具有不同的代理损失组件。
• 实现统一的训练框架，确保在所有数据集上使用一致的超参数调优来评估所有损失函数。
• 系统性地改变算法选择：正样本采样率（从0.1到0.5）、L2正则化、权重衰减和归一化技术（Sigmoid、ℓ₂分数归一化）。
• 比较三种优化器类型：SGD类、动量类和Adam类，学习率在{1e-1, 1e-2, 1e-3, 1e-4, 1e-5}范围内调优。
• 在六个图像数据集（如CIFAR-10、CIFAR-100）和六个分子图数据集（如HIV、MUV、Tox21、ToxCast）上训练模型，包括包含191,027个样本的CheXpert数据集。
• 报告14,400次独立实验运行的AUROC分数及其标准差，以确保统计稳健性。

实验结果

研究问题

• RQ1 在深度AUROC优化中，复合损失与成对损失在训练收敛性和测试泛化能力方面有何差异？
• RQ2 正样本采样率对AUROC性能有何影响，且该影响是否在不同数据集中存在差异？
• RQ3 哪些归一化与激活技术（如Sigmoid、ℓ₂归一化）能提升深度模型中的AUROC性能？
• RQ4 不同优化器（SGD、动量、Adam）如何影响训练和测试AUROC，特别是在泛化能力方面？
• RQ5 标签污染是否会影响对对称成对损失相较于其他损失类型的偏好？

主要发现

• 复合损失函数在训练收敛性和测试泛化能力方面均持续优于成对损失，在图像数据集上实现平均AUROC为0.824，在分子数据集上为0.818。
• 在标签存在污染的数据集中，对称成对损失（如PSM）相较于非对称变体表现更优。
• 更高的正样本采样率（最高达0.5）可提升AUROC性能，尤其在长尾和不平衡设置下。
• Sigmoid和ℓ₂分数归一化显著提升模型性能，其中ℓ₂归一化在分子数据集上表现尤为突出。
• Adam类优化器在训练收敛速度和训练AUROC方面表现优异，但在测试数据上表现欠佳，表明泛化能力差——与先前研究一致。
• 复合损失收敛更快，且每轮迭代耗时更短，相较于成对损失更具训练效率，适用于大规模训练。