[论文解读] Emphasis on the Minimization of False Negatives or False Positives in Binary Classification

Sanskriti Singh|arXiv (Cornell University)|Apr 6, 2022

Face and Expression Recognition被引用 4

一句话总结

本文提出了一种新颖的数据重加权方法，通过在微调阶段将部分假正例重新标记为真正例，从而最小化二分类中的假阴性。该方法在包括 VGG16 和迁移学习模型在内的多种架构中，将召回率最高提升 13%，同时对 F1 分数影响甚微，展示了在肺炎检测等医学影像任务中的稳健有效性。

ABSTRACT

The minimization of specific cases in binary classification, such as false negatives or false positives, grows increasingly important as humans begin to implement more machine learning into current products. While there are a few methods to put a bias towards the reduction of specific cases, these methods aren't very effective, hence their minimal use in models. To this end, a new method is introduced to reduce the False Negatives or False positives without drastically changing the overall performance or F1 score of the model. This method involving the careful change to the real value of the input after pre-training the model. Presenting the results of this method being applied on various datasets, some being more complex than others. Through experimentation on multiple model architectures on these datasets, the best model was found. In all the models, an increase in the recall or precision, minimization of False Negatives or False Positives respectively, was shown without a large drop in F1 score.

研究动机与目标

• 为解决高风险应用（如医学诊断）中最小化假阴性的关键需求，因为漏诊阳性病例可能导致致命后果。
• 开发一种在不损害整体模型性能（尤其是 F1 分数）的前提下减少假阴性的方法。
• 探究通过选择性地重新标记假正例进行数据重加权，是否能有效调整模型偏向以提高召回率。
• 评估该方法在多种深度学习架构和真实世界数据集（包括 RSNA 胸部 X 光肺炎数据集和 NIH ChestX-ray8）中的有效性。
• 提供一种实用且与架构无关的技术，可在预训练后应用，以增强临床决策支持中模型的安全性。

提出的方法

• 该方法涉及使用相同数据集对预训练模型进行微调，但将选定比例的假正例预测结果重新标记为真正例。
• 通过使用预训练模型对训练集进行推理，识别假正例并生成混淆矩阵。
• 重新标记过程选择性地改变一定比例（例如 20% 至 100%）假正例的真实标签，以提高模型的敏感性。
• 该方法结合了数据增强和阈值调整的元素，但避免强制设定固定的决策边界，使模型能够学习更精细的决策边界。
• 在保留的测试集上评估微调后的模型，以测量召回率、精确率、F1 分数和 AUROC 的变化。
• 该方法在多种架构（包括 VGG16、迁移学习模型等）上应用，以评估其泛化能力。

实验结果

研究问题

• RQ1 选择性地将部分假正例重新标记为真正例，是否能显著提升召回率而不损害整体模型性能？
• RQ2 重新标记假正例的比例如何影响二分类中召回率与 F1 分数之间的权衡？
• RQ3 所提出的方法是否在多种深度学习架构和数据集上保持或提升模型性能？
• RQ4 该方法在高风险医学影像任务（如胸部 X 光片中的肺炎检测）中是否有效？
• RQ5 与类别加权、数据增强和阈值调整等现有技术相比，该方法在召回率提升和 F1 分数稳定性方面表现如何？

主要发现

• 当 60% 的假正例被重新标记时，性能最佳的模型（VGG16）召回率最高提升 13%，同时 F1 分数保持在 0.48。
• 在迁移学习模型中，当 100% 的假正例被重新标记时，召回率从 0.62 提升至 0.70，F1 分数从 0.54 略升至 0.57。
• 对于 VGG16 模型，当 60% 的假正例被重新标记时，召回率从 0.74 提升至 0.78，F1 分数从 0.45 提升至 0.48。
• 所有模型的 F1 分数均保持稳定或略有提升，尽管召回率大幅提升，未出现显著下降。
• 在重新标记后对最佳模型进行集成，使召回率从 0.56 提升至 0.68，同时保持 F1 分数在 0.58，展示了其在实际应用中的价值。
• 该方法在初始精确率较低的模型中效果最显著，因为这些模型有更多假正例可供重新标记，从而增强了学习信号。