[论文解读] Estimating Uncertainty and Interpretability in Deep Learning for Coronavirus (COVID-19) Detection

Biraja Ghoshal, Allan Tucker|Brunel University Research Archive (BURA) (Brunel University London)|Mar 22, 2020

COVID-19 diagnosis using AI参考文献 14被引用 348

一句话总结

本文使用基于 MC Dropweights 的贝叶斯 CNN 来估计 COVID-19 chest X-ray 分类的预测不确定性，并显示不确定性与准确性相关，从而实现对放射科医生的基于不确定性的转介。

ABSTRACT

Deep Learning has achieved state of the art performance in medical imaging. However, these methods for disease detection focus exclusively on improving the accuracy of classification or predictions without quantifying uncertainty in a decision. Knowing how much confidence there is in a computer-based medical diagnosis is essential for gaining clinicians trust in the technology and therefore improve treatment. Today, the 2019 Coronavirus (SARS-CoV-2) infections are a major healthcare challenge around the world. Detecting COVID-19 in X-ray images is crucial for diagnosis, assessment and treatment. However, diagnostic uncertainty in the report is a challenging and yet inevitable task for radiologist. In this paper, we investigate how drop-weights based Bayesian Convolutional Neural Networks (BCNN) can estimate uncertainty in Deep Learning solution to improve the diagnostic performance of the human-machine team using publicly available COVID-19 chest X-ray dataset and show that the uncertainty in prediction is highly correlates with accuracy of prediction. We believe that the availability of uncertainty-aware deep learning solution will enable a wider adoption of Artificial Intelligence (AI) in a clinical setting.

研究动机与目标

• 推动在医学影像 COVID-19 检测中对深度学习不确定性估计的需求.
• 评估基于 MC Dropweights 的贝叶斯 CNN 以量化预测不确定性.
• 研究预测不确定性与分类准确性的关系.
• 评估面向不确定性的决策转介以改善诊断中的人机协作。

提出的方法

• 对 COVID-19 X 线分类采用带有预训练 ResNet50V2 骨干的迁移学习。
• 在全连接层中引入 Dropweights，以近似贝叶斯推断并在测试阶段实现 MC 采样。
• 对多次随机前向传播（MC 采样）计算预测均值和预测不确定性，获得 PH（预测熵）和 BALD 指标。
• 对不确定性在不同配置中进行归一化以便于比较。
• 使用非对称成本（效用）函数通过损失中的类别权重强调降低假阴性的目标。
• 比较不确定性指标（PH 与 BALD），并分析不确定性与预测错误之间的关系。

实验结果

研究问题

• RQ1 基于 MC Dropweights 的贝叶斯 CNN 是否能为 COVID-19 X-ray 分类提供有意义的不确定性估计？
• RQ2 预测不确定性是否与分类准确性相关，是否可通过转介来改善决策？
• RQ3 在此情境下，哪种不确定性度量（预测熵 vs BALD）更能反映模型的不确定性？
• RQ4 在与人工放射科医生结合时，纳入基于不确定性的转介是否能提升整体诊断可靠性？

主要发现

• 贝叶斯 ResNet50V2 在给定数据集上提升了 COVID-19 X-ray 检测的准确性，相较于标准的 ResNet50V2。
• 预测不确定性在错误预测中往往更高，表明可用于标注不确定性较高的案例。
• 预测熵与预测错误之间呈非常强的相关性（在测试的 dropweights 下 rho 约为 0.99）。
• BALD 与错误也相关，但在不同配置下的相关性低于预测熵。
• 面向不确定性的转介（拒绝不确定案例）提高了剩余预测的准确性，且在某些条件下，联合系统接近放射科医生的性能。