[论文解读] Bayesian Image Quality Transfer with CNNs: Exploring Uncertainty in dMRI Super-Resolution

Ryutaro Tanno, Daniel E. Worrall+5 more|arXiv (Cornell University)|May 1, 2017

Advanced Neuroimaging Techniques and Applications参考文献 2被引用 20

一句话总结

本文提出一种用于3D扩散磁共振成像超分辨率的贝叶斯卷积神经网络（CNN），通过异方差噪声模型和变分 dropout 模型化内在不确定性和参数不确定性。该方法实现了最先进水平的重建精度，降低了下游纤维束成像中的误差，并生成与重建误差相关联的不确定性图，可突出显示肿瘤等病灶。

ABSTRACT

In this work, we investigate the value of uncertainty modeling in 3D super-resolution with convolutional neural networks (CNNs). Deep learning has shown success in a plethora of medical image transformation problems, such as super-resolution (SR) and image synthesis. However, the highly ill-posed nature of such problems results in inevitable ambiguity in the learning of networks. We propose to account for intrinsic uncertainty through a per-patch heteroscedastic noise model and for parameter uncertainty through approximate Bayesian inference in the form of variational dropout. We show that the combined benefits of both lead to the state-of-the-art performance SR of diffusion MR brain images in terms of errors compared to ground truth. We further show that the reduced error scores produce tangible benefits in downstream tractography. In addition, the probabilistic nature of the methods naturally confers a mechanism to quantify uncertainty over the super-resolved output. We demonstrate through experiments on both healthy and pathological brains the potential utility of such an uncertainty measure in the risk assessment of the super-resolved images for subsequent clinical use.

研究动机与目标

• 通过在深度学习预测中建模不确定性，解决医学图像超分辨率的不适定性问题。
• 通过3D ESPCN架构的扩展，提升3D扩散MRI超分辨率中的重建精度与效率。
• 将内在（数据驱动）和参数（模型驱动）不确定性整合到单一概率CNN框架中。
• 评估不确定性图在识别低置信度区域（尤其是脑肿瘤等病理情况）中的实用性。
• 证明不确定性感知的超分辨率相比非概率方法，可提升下游纤维束成像的准确性。

提出的方法

• 将2D子像素CNN（ESPCN）扩展至3D，以实现实时、高精度的3D扩散MRI体积超分辨率。
• 采用逐块异方差噪声模型建模内在不确定性，其变化与解剖结构相关。
• 应用变分 dropout 近似贝叶斯推理，量化CNN权重中的参数不确定性。
• 将两种不确定性类型整合于单一模型中（Hetero+Var. I 和 II），以提升鲁棒性与泛化能力。
• 通过从预测分布中进行蒙特卡洛采样，估计FA和MD等导出指标的均值与方差。
• 在纤维束成像评估中，采用逆协方差加权的集成平均方法生成最终预测。

实验结果

研究问题

• RQ1 在3D CNN中同时建模内在与参数不确定性，是否能超越确定性基线，在dMRI超分辨率中实现更高的重建精度？
• RQ2 预测的不确定性图与健康脑和病理脑中实际重建误差的相关性如何？
• RQ3 不确定性感知的超分辨率是否相比标准CNN和插值方法，能带来更优的纤维束成像结果？
• RQ4 不确定性图是否能有效标识低置信度区域，如训练数据中未包含的肿瘤区域？
• RQ5 不确定性建模在多大程度上增强了基于深度学习的神经影像图像增强的可解释性与临床可靠性？

主要发现

• 所提出的 Hetero+Var.(I) 模型在HCP和Lifespan数据集上达到最先进性能，与基线CNN和RF方法相比，显著降低了重建误差。
• 不确定性图与RMSE误差图高度相关，尤其在白质和中央脑脊液区域，证明其作为精度代理度量的实用性。
• 在Prisma数据集中，基于CNN的SR生成了更清晰的白质通路，并减少了纤维束成像中的假阳性，优于线性插值和RF-IQT方法。
• 在脑肿瘤患者数据上，模型生成了无伪影的高分辨率图像，且不确定性图在肿瘤区域表现出高不确定性，表明该区域置信度低。
• 变分 dropout 降低了过拟合，提升了泛化能力，尤其在脑内部区域表现更优，体现为更低的外部误差评分。
• 两种不确定性类型的整合显著提升了模型的鲁棒性与预测性能，证实了全面不确定性建模方法的优势。