[论文解读] DeepVesselNet: Vessel Segmentation, Centerline Prediction, and Bifurcation Detection in 3-D Angiographic Volumes

Giles Tetteh, Velizar Efremov+7 more|arXiv (Cornell University)|Mar 25, 2018

Medical Image Segmentation Techniques被引用 32

一句话总结

DeepVesselNet 是一种用于 3D 血管造影血管分割、中心线预测和分叉检测的深度学习框架，通过使用 2D 交叉十字滤波器在保持 3D 上下文的同时降低计算成本，采用一种新型具有误报率校正的类别平衡损失以解决极端类别不平衡问题，并利用从合成生成的血管树进行迁移学习。该方法在推理速度上比 3D CNN 快 23%，内存占用更低，同时在体素级结构上的表现优于带有下采样层的网络架构，且精度相当。

ABSTRACT

We present DeepVesselNet, an architecture tailored to the challenges faced when extracting vessel networks or trees and corresponding features in 3-D angiographic volumes using deep learning. We discuss the problems of low execution speed and high memory requirements associated with full 3-D convolutional networks, high-class imbalance arising from the low percentage of vessel voxels, and unavailability of accurately annotated training data - and offer solutions as the building blocks of DeepVesselNet. First, we formulate 2-D orthogonal cross-hair filters which make use of 3-D context information at a reduced computational burden. Second, we introduce a class balancing cross-entropy loss function with false positive rate correction to handle the high-class imbalance and high false positive rate problems associated with existing loss functions. Finally, we generate synthetic dataset using a computational angiogenesis model capable of generating vascular trees under physiological constraints on local network structure and topology and use these data for transfer learning. DeepVesselNet is optimized for segmenting and analyzing vessels, and we test the performance on a range of angiographic volumes including clinical MRA data of the human brain, as well as X-ray tomographic microscopy scans of the rat brain. Our experiments show that, by replacing 3-D filters with cross-hair filters in our network, we achieve over 23% improvement in speed, lower memory footprint, lower network complexity which prevents overfitting and comparable accuracy (with a Cox-Wilcoxon paired sample significance test p-value of 0.07 when compared to full 3-D filters). Our class balancing metric is crucial for training the network and transfer learning with synthetic data is an efficient, robust, and very generalizable approach leading to a network that excels in a variety of angiography segmentation tasks.

研究动机与目标

• 解决 3D 血管造影体积分析中 3D 卷积网络带来的高计算成本和内存占用问题。
• 克服血管分割、中心线预测和分叉检测中极端类别不平衡的问题，其中血管体素占总体素的不足 3%。
• 通过利用具有生理约束的合成生成血管树，在数据量少的场景下实现稳健训练。
• 通过避免会降低定位精度的下采样层，提升对体素级结构的性能表现。
• 提供公开的数据集和代码库，以支持未来在血管网络分析领域的研究。

提出的方法

• 设计 2D 正交交叉十字滤波器，通过在不同平面上组合三个 2D 滤波器，以较低的计算负载捕捉 3D 上下文，相比完整 3D 卷积具有更低的计算开销。
• 开发一种具有误报率校正的类别平衡交叉熵损失函数，以在极端类别不平衡条件下稳定训练。
• 使用计算性血管生成模型生成合成 3D 血管造影体积，以在血管拓扑和结构上施加生理约束。
• 通过在临床数据上微调前先在合成数据上进行预训练，应用迁移学习，提升模型在多种成像模态下的泛化能力。
• 设计 DeepVesselNet 架构时完全避免使用下采样层，以保持空间分辨率，提升对细小特征（如中心线和分叉）的检测能力。
• 在 DeepVesselNet-FCN 中采用全卷积网络（FCN）架构，以保持完整的空间分辨率，并增强定位任务的性能。

实验结果

研究问题

• RQ1 2D 交叉十字滤波器是否能在显著降低推理时间和内存占用的同时，实现与完整 3D 卷积相当的 3D 血管分割精度？
• RQ2 所提出的具有误报率校正的类别平衡损失在缓解极端类别不平衡导致的性能下降方面效果如何，特别是在血管、中心线和分叉预测任务中？
• RQ3 从合成生成的血管树进行迁移学习在多大程度上提升了模型在真实临床 3D 血管造影数据上的泛化能力和性能表现？
• RQ4 网络架构中不使用下采样层是否能提升对细小血管结构特征（如中心线和分叉）的检测能力？
• RQ5 单一统一的网络架构是否能有效同时完成血管分割、中心线预测和分叉检测，且优于顺序的二值分类方法？

主要发现

• 使用交叉十字滤波器的 DeepVesselNet 在推理速度上比完整 3D 卷积网络快 23% 以上，内存占用显著降低，同时保持了相当的精度（配对符号秩检验 p = 0.07）。
• 所提出的具有误报率校正的类别平衡损失能够稳定训练过程，改善精确率-召回率平衡，减少过度分割和欠分割问题。
• 从合成生成的血管树进行迁移学习显著提升了模型在真实临床数据上的性能表现，尤其在数据量较少的场景下效果更明显。
• DeepVesselNet-FCN（无下采样层）在中心线预测（p < 0.001）和分叉检测任务中的 Dice 分数显著高于使用池化或下采样结构的网络。
• 网络在较小血管中检测到的中心线和分叉数量多于大血管，表明存在数据不平衡效应，可通过训练过程中对大血管特征进行重加权或过采样进行校正。
• 可视化结果证实，DeepVesselNet-FCN 在合成数据和临床 MRA 数据中均能准确检测中心线和分叉，尽管在小血管中存在部分点缺失，提示后续处理或微调仍有优化空间。