[论文解读] An End-to-end Approach to Semantic Segmentation with 3D CNN and Posterior-CRF in Medical Images

Shuai Chen, Marleen de Bruijne|arXiv (Cornell University)|Nov 8, 2018

AI in cancer detection参考文献 7被引用 8

一句话总结

本文提出 Posterior-CRF，一种端到端深度学习框架，将3D全连接条件随机场（CRF）与3D U-Net相结合，用于医学图像语义分割。与直接使用原始强度值不同，Posterior-CRF在卷积神经网络（CNN）的后验概率图上应用CRF，实现CNN与CRF参数的联合优化。该方法在白质高信号（WMH）分割任务中达到最先进性能，优于标准U-Net及以往端到端CRF方法。

ABSTRACT

Fully-connected Conditional Random Field (CRF) is often used as post-processing to refine voxel classification results by encouraging spatial coherence. In this paper, we propose a new end-to-end training method called Posterior-CRF. In contrast with previous approaches which use the original image intensity in the CRF, our approach applies 3D, fully connected CRF to the posterior probabilities from a CNN and optimizes both CNN and CRF together. The experiments on white matter hyperintensities segmentation demonstrate that our method outperforms CNN, post-processing CRF and different end-to-end training CRF approaches.

研究动机与目标

• 解决基于强度的CRF后处理在噪声医学图像中的不稳定性和敏感性问题。
• 克服现有端到端CRF方法依赖原始强度特征且需手动调整CRF参数的局限性。
• 通过在CRF推理中利用训练好的CNN生成的高质量特征图，提升空间一致性和分割精度。
• 通过统一的训练流程，实现CNN与CRF参数的联合优化。
• 在FLAIR MRI扫描的白质高信号分割任务中展示优越性能。

提出的方法

• Posterior-CRF用3D U-Net最后一层的后验概率图替代CRF中的基于强度的特征。
• 该方法采用全连接CRF，其单一场势来自CNN输出的概率，成对场势基于空间距离与特征距离。
• CRF参数（如θα, θβ, θγ, ω）在端到端训练中与CNN联合优化。
• 成对场势结合空间相似性核与特征相似性核，其中特征为CNN预测的类别概率。
• 在后验概率图上应用平均场推理，以优化体素级预测并保持空间一致性。
• 框架使用分类交叉熵损失进行训练，并通过反向传播联合优化CNN与CRF组件。

实验结果

研究问题

• RQ1 在CRF中用学习到的后验概率替代强度特征，能否提升医学图像分割的鲁棒性与准确性？
• RQ2 与后处理CRF或基于强度的CRF训练相比，CNN与CRF参数的端到端联合优化是否能带来更好的性能？
• RQ3 使用3D U-Net的高层特征图如何影响CRF推理在噪声医学图像中的稳定性和泛化能力？
• RQ4 通过与CNN联合训练，能否消除CRF超参数手动调优的需求？
• RQ5 Posterior-CRF在Dice分数、Hausdorff距离以及假阳/假阴率方面，与基线U-Net及其他基于CRF的方法相比表现如何？

主要发现

• Posterior-CRF在WMH 2017数据集上达到0.747 ± 0.064的Dice相似系数（DSC），显著优于基线U-Net（0.683 ± 0.068）及其他CRF方法。
• 该方法实现了21.80% ± 5.92的最低平均体积差（AVD），表明其在体积准确性方面优于其他方法。
• Posterior-CRF将假阳性数量降低至3387 ± 507.41，显示出对过度分割的更好控制，优于U-Net与Post-CRF后处理方法。
• 其Hausdorff距离（H95）保持在5.513 mm ± 2.818的合理水平，优于Spatial-CRF，各项指标表现均衡。
• 视觉对比显示，Posterior-CRF生成的分割结果最准确且视觉连贯，假阳性更少，病灶结构保留更佳。
• 通过在端到端训练中联合学习所有CRF参数，该方法消除了手动调整CRF超参数的需求。