[论文解读] Confidence Aware Neural Networks for Skin Cancer Detection

Donya Khaledyan, AmirReza Tajally+5 more|ArXiv.org|Jul 19, 2021

Cutaneous Melanoma Detection and Management参考文献 25被引用 8

一句话总结

本文提出了一种基于蒙特卡洛丢弃（MCD）、集成贝叶斯网络以及一种新型集成蒙特卡洛丢弃（EMCD）方法的置信度感知深度神经网络，以量化皮肤癌检测中的预测不确定性。EMCD在不确定性感知准确率（83%）和校准性（ECE = 4.70）方面表现最佳，表明基于集成的不确定性估计可显著提升临床决策支持的可靠性。

ABSTRACT

Deep learning (DL) models have received particular attention in medical imaging due to their promising pattern recognition capabilities. However, Deep Neural Networks (DNNs) require a huge amount of data, and because of the lack of sufficient data in this field, transfer learning can be a great solution. DNNs used for disease diagnosis meticulously concentrate on improving the accuracy of predictions without providing a figure about their confidence of predictions. Knowing how much a DNN model is confident in a computer-aided diagnosis model is necessary for gaining clinicians' confidence and trust in DL-based solutions. To address this issue, this work presents three different methods for quantifying uncertainties for skin cancer detection from images. It also comprehensively evaluates and compares performance of these DNNs using novel uncertainty-related metrics. The obtained results reveal that the predictive uncertainty estimation methods are capable of flagging risky and erroneous predictions with a high uncertainty estimate. We also demonstrate that ensemble approaches are more reliable in capturing uncertainties through inference.

研究动机与目标

• 为解决深度神经网络（DNNs）在皮肤癌诊断中缺乏不确定性估计的问题，该问题会削弱临床信任。
• 评估并比较三种不确定性量化方法——MCD、集成贝叶斯和EMCD——在皮肤癌图像分类中的表现。
• 提出并应用新型的不确定性专用性能指标（UAcc、USen、USpe、UPre）以实现全面评估。
• 证明不确定性估计能够有效识别错误预测，从而在临床环境中支持二次意见工作流。

提出的方法

• 通过在推理过程中保留丢弃率，应用蒙特卡洛丢弃（MCD）方法，利用随机前向传播估计模型不确定性（认识论不确定性）。
• 采用集成深度学习方法，通过独立训练多个DNN并聚合预测结果来估计不确定性。
• 提出一种混合方法——集成蒙特卡洛丢弃（EMCD），将MCD与集成平均相结合，以提升不确定性估计性能。
• 使用迁移学习，基于预训练模型（如DenseNet）在皮肤病变数据集上进行微调，以减少对数据的依赖。
• 引入新型不确定性评估指标：不确定性准确率（UAcc）、敏感性（USen）、特异性（USpe）以及在不同阈值下的精确率（UPre）。
• 使用期望校准误差（ECE）评估模型校准性，其计算方式为：在不同置信度区间内，置信度与实际准确率之间绝对差值的加权平均。

实验结果

研究问题

• RQ1 不确定性量化方法能否在深度学习皮肤癌检测中可靠地识别错误预测？
• RQ2 MCD、集成和EMCD方法在皮肤癌分类预测不确定性估计方面表现如何比较？
• RQ3 不确定性估计与预测正确性之间的相关性有多大？能否用于触发专家复核？
• RQ4 所提出的不确定性指标（UAcc、USen等）在多大程度上反映了不确定性预测的真实可靠性？
• RQ5 哪种不确定性量化方法在校准性与不确定性感知性能之间实现了最佳平衡？

主要发现

• EMCD方法实现了最低的期望校准误差（ECE = 4.70），表明其模型校准性优于MCD和集成方法。
• 集成方法在阈值为0.4时实现了最高的不确定性感知准确率（UAcc = 84.8%），优于MCD（76%）和EMCD（83%）。
• 所有三种方法均表现出较高的不确定性敏感性（USen），值均超过0.5，表明其具备有效识别高不确定性错误预测的能力。
• 由于高精度模型中正确预测存在长尾的高不确定性分布，不确定性精确率（UPre）在各方法中均保持较低水平（约0.44），这是已知挑战。
• 可视化分析表明，错误预测的平均不确定性显著高于正确预测，验证了模型识别不可靠输出的能力。
• 正确与错误预测的边际不确定性分布明显分离，表明不确定性估计具备强大的判别能力。