[论文解读] Propagating Uncertainty in Multi-Stage Bayesian Convolutional Neural Networks with Application to Pulmonary Nodule Detection

Onur Özdemir, Benjamin Woodward+1 more|arXiv (Cornell University)|Dec 1, 2017

Lung Cancer Diagnosis and Treatment参考文献 14被引用 30

一句话总结

本文提出一种多阶段贝叶斯卷积神经网络用于肺结节检测，通过将2D分割网络中的不确定性传播并融合至3D结节检测网络，实现性能提升。通过将分割预测结果及其不确定性（均值与标准差）作为额外通道拼接，该方法在提升检测准确率的同时增强了模型置信度，且模型集成进一步提高了性能，尤其在阳性类别样本较少的场景下表现更优。

ABSTRACT

Motivated by the problem of computer-aided detection (CAD) of pulmonary nodules, we introduce methods to propagate and fuse uncertainty information in a multi-stage Bayesian convolutional neural network (CNN) architecture. The question we seek to answer is "can we take advantage of the model uncertainty provided by one deep learning model to improve the performance of the subsequent deep learning models and ultimately of the overall performance in a multi-stage Bayesian deep learning architecture?". Our experiments show that propagating uncertainty through the pipeline enables us to improve the overall performance in terms of both final prediction accuracy and model confidence.

研究动机与目标

• 通过在多个深度学习阶段利用模型不确定性，提升低剂量CT扫描中肺结节检测的性能。
• 解决现有肺结节CAD系统中缺乏不确定性估计的问题，从而提升临床对预测结果的信任度。
• 证明将分割阶段的不确定性传播至检测阶段可提升整体检测性能与模型置信度。
• 探索将1通道与3通道贝叶斯检测网络结合的不确定性融合与集成策略，以增强模型鲁棒性。
• 提供一种可推广至医学影像以外领域的框架，如自动驾驶与机器人技术，这些领域对不确定性感知决策至关重要。

提出的方法

• 采用10层贝叶斯U-Net，并在推理阶段使用随机丢弃（stochastic dropout）生成50个蒙特卡洛样本，用于2D轴向CT图像分割中的不确定性估计。
• 在3D卷积神经网络中采用近似贝叶斯推断（基于蒙特卡洛丢弃），同样使用50个样本估计预测均值与标准差，用于结节检测。
• 通过将预测均值图与标准差图与原始1通道图像拼接，形成3通道复合输入，用于3D检测网络。
• 在原始图像上独立训练第二个1通道3D贝叶斯卷积神经网络，以捕捉不确定性融合网络未能捕获的特征。
• 通过凸组合方式（各模型权重为0.5）实现不确定性感知的模型集成，该权重在验证集AUC上进行优化。
• 使用斯皮尔曼等级相关系数验证两个检测网络之间的弱相关性，从而支持将集成作为提升多样性策略的有效性。

实验结果

研究问题

• RQ1 在多阶段贝叶斯深度学习框架中，将不确定性从分割网络传播至下游结节检测网络，是否能提升检测网络的性能？
• RQ2 将分割阶段的不确定性信息（均值与标准差）与图像数据融合，是否能提升肺结节检测的准确率与模型置信度？
• RQ3 将使用不确定性融合输入的贝叶斯检测器与使用原始图像的检测器进行集成，相较于单个模型，对整体性能有何影响？
• RQ4 两个贝叶斯网络的预测结果在统计上有多大的独立性，从而支持集成策略的有效性？
• RQ5 不确定性传播与融合方法是否可推广至其他需要置信度感知决策的多阶段深度学习应用？

主要发现

• 采用不确定性融合的3通道贝叶斯CNN获得0.1010的Brier分数，显著低于1通道贝叶斯CNN的0.1214，表明其校准性与性能更优。
• 集成模型取得最佳Brier分数0.0948，优于两个独立模型及非贝叶斯基线模型（0.1045）。
• 集成显著提升了验证集上的AUC，最优权重为0.5，表明两模型等权重组合时性能最佳。
• 斯皮尔曼等级相关系数为0.346（p < 10^-5），证实两检测网络之间存在弱相关性，支持集成策略的有效性。
• 3D贝叶斯CNN在不确定性融合后，精确率-召回率曲线上表现更优，尤其在高度不平衡的阳性类别上处理能力更强。
• 集成模型的预测方差略高于3通道模型，但显著低于1通道模型，表明其不确定性校准更优。