[论文解读] Constrained Optimization for Training Deep Neural Networks Under Class Imbalance.

Sara Sangalli, Ertunç Erdil+3 more|arXiv (Cornell University)|Feb 21, 2021

Imbalanced Data Classification Techniques参考文献 24被引用 5

一句话总结

本文提出一种约束优化框架，用于在类别不平衡条件下训练深度神经网络，通过施加一种新颖的约束以最大化受试者工作特征曲线下面积（AUC），并使用增广拉格朗日法（ALM）降低高真正例率（TPR）下的假阳性率（FPR）。该方法在CIFAR10和一个医学影像数据集上均提升了FPR与AUC，且不损害基础损失函数。

ABSTRACT

Deep neural networks (DNNs) are notorious for making more mistakes for the classes that have substantially fewer samples than the others during training. Such class imbalance is ubiquitous in clinical applications and very crucial to handle because the classes with fewer samples most often correspond to critical cases (e.g., cancer) where misclassifications can have severe consequences. Not to miss such cases, binary classifiers need to be operated at high True Positive Rates (TPR) by setting a higher threshold but this comes at the cost of very high False Positive Rates (FPR) for problems with class imbalance. Existing methods for learning under class imbalance most often do not take this into account. We argue that prediction accuracy should be improved by emphasizing reducing FPRs at high TPRs for problems where misclassification of the positive samples are associated with higher cost. To this end, we pose the training of a DNN for binary classification as a constrained optimization problem and introduce a novel constraint that can be used with existing loss functions to enforce maximal area under the ROC curve (AUC). We solve the resulting constrained optimization problem using an Augmented Lagrangian method (ALM), where the constraint emphasizes reduction of FPR at high TPR. We present experimental results for image-based classification applications using the CIFAR10 and an in-house medical imaging dataset. Our results demonstrate that the proposed method almost always improves the loss functions it is used with by attaining lower FPR at high TPR and higher or equal AUC.

研究动机与目标

• 解决深度学习中类别不平衡的挑战，特别是在临床应用中，错误分类罕见但关键病例（如癌症）会产生严重后果。
• 认识到标准方法未能优先考虑高TPR下的低FPR，而当漏诊阳性病例的成本极高时，这一点至关重要。
• 将深度神经网络（DNN）训练表述为约束优化问题，显式最小化高TPR下的FPR，从而提升关键检测任务中模型的可靠性。
• 引入一种新颖约束以促进最大AUC，确保在高风险分类相关操作点上具备稳健性能。
• 通过增广拉格朗日法（ALM）将约束与现有损失函数结合，实现仅需最小架构修改的实用化训练。

提出的方法

• 将DNN训练目标表述为约束优化问题，其中约束条件强制在高真正例率（TPR）下实现低假阳性率（FPR）。
• 提出一种基于受试者工作特征曲线下面积（AUC）的新约束，其天然地捕捉了在高特异性（TNR）操作点上的性能表现。
• 使用增广拉格朗日法（ALM）求解约束优化问题，实现基于梯度优化的有效且稳定的训练。
• 将约束集成到现有损失函数（如交叉熵）中，无需修改网络架构，从而可与标准DNN实现即插即用。
• 通过迭代优化拉格朗日对偶变量，平衡原始损失最小化与FPR约束满足之间的权衡。
• 该方法动态调整高TPR下违反FPR约束的惩罚力度，确保模型优先关注高敏感性与低误报率。

实验结果

研究问题

• RQ1 约束优化框架是否能在不降低基础损失的前提下，改善类别不平衡二分类问题中高真正例率（TPR）下的假阳性率（FPR）？
• RQ2 通过新颖约束强制实现AUC最大化，是否能提升低资源类别（尤其是医学影像中）的泛化性能？
• RQ3 所提出的基于ALM的方法与标准类别重加权或焦点损失相比，在严重类别不平衡下，能否在保持高TPR的同时有效降低FPR？
• RQ4 该方法在不修改架构的前提下，与现有深度学习损失函数的集成程度如何？
• RQ5 该方法是否在包括临床影像数据在内的多样化数据集上均能一致地提升AUC与FPR？

主要发现

• 所提方法在CIFAR10和内部医学影像数据集上均一致地降低了高真正例率（TPR）下的假阳性率（FPR）。
• 与使用标准损失函数训练的基线模型相比，该方法实现了更高或相等的受试者工作特征曲线下面积（AUC）。
• 即使基础损失函数保持不变，仍观察到FPR的改善，证明了该约束本身的有效性。
• 该方法无需重训练或架构修改即可维持或提升模型性能，支持即插即用的集成方式。
• 增广拉格朗日法（ALM）有效处理了约束优化问题，确保了稳定收敛与FPR约束的可靠优化。
• 该方法在误分类罕见阳性病例（如癌症）成本极高的场景中尤为有效，因此适用于诊断应用。