[论文解读] IVUS-Net: An Intravascular Ultrasound Segmentation Network

Yang Ji, Tong Lin+2 more|arXiv (Cornell University)|Jun 10, 2018

Coronary Interventions and Diagnostics参考文献 22被引用 7

一句话总结

IVUS-Net 是一种全卷积神经网络（FCN），包含后处理轮廓提取步骤，可自动分割 20 MHz IVUS B 模式图像中的管腔和中膜-外膜边界。该方法实现了最先进性能，在管腔的 Hausdorff 距离上提升 8%，在中膜上提升 20%，同时每帧仅需 0.15 秒即可在现代 GPU 上完成分割。

ABSTRACT

IntraVascular UltraSound (IVUS) is one of the most effective imaging modalities that provides assistance to experts in order to diagnose and treat cardiovascular diseases. We address a central problem in IVUS image analysis with Fully Convolutional Network (FCN): automatically delineate the lumen and media-adventitia borders in IVUS images, which is crucial to shorten the diagnosis process or benefits a faster and more accurate 3D reconstruction of the artery. Particularly, we propose an FCN architecture, called IVUS-Net, followed by a post-processing contour extraction step, in order to automatically segments the interior (lumen) and exterior (media-adventitia) regions of the human arteries. We evaluated our IVUS-Net on the test set of a standard publicly available dataset containing 326 IVUS B-mode images with two measurements, namely Jaccard Measure (JM) and Hausdorff Distances (HD). The evaluation result shows that IVUS-Net outperforms the state-of-the-art lumen and media segmentation methods by 4% to 20% in terms of HD distance. IVUS-Net performs well on images in the test set that contain a significant amount of major artifacts such as bifurcations, shadows, and side branches that are not common in the training set. Furthermore, using a modern GPU, IVUS-Net segments each IVUS frame only in 0.15 seconds. The proposed work, to the best of our knowledge, is the first deep learning based method for segmentation of both the lumen and the media vessel walls in 20 MHz IVUS B-mode images that achieves the best results without any manual intervention. Code is available at https://github.com/Kulbear/ivus-segmentation-icsm2018

研究动机与目标

• 开发一种端到端的深度学习流程，用于自动分割 IVUS 图像中的管腔和中膜-外膜边界。
• 解决在分叉、伪影和侧支血管等常见伪影存在下分割血管壁的挑战。
• 在不依赖预训练权重或人工干预的前提下，实现高精度分割。
• 通过确保每帧推理速度仅为 0.15 秒，实现实时应用。
• 建立一个超越传统计算机视觉方法的 IVUS 分割深度学习基线。

提出的方法

• 提出一种自定义的 FCN 架构 IVUS-Net，从零开始训练，不使用 ImageNet 预训练权重。
• 在编码器和解码器模块之间引入跳跃连接，以保留空间细节并提升边界定位能力。
• 引入一个精炼分支，以增强特征表示并提高分割精度。
• 应用数据增强技术（如旋转、缩放、翻转）以提升模型的鲁棒性与泛化能力。
• 在预测的像素级掩码后增加后处理轮廓提取步骤，将其转化为精确的血管壁轮廓。
• 在包含 326 幅舒张期末帧的公开 IVUS 基准数据集上进行训练与评估，涵盖多种伪影类型。

实验结果

研究问题

• RQ1 从零开始训练的全卷积网络是否能在 IVUS 图像的管腔和中膜分割上，优于当前最先进传统方法？
• RQ2 所提出的 IVUS-Net 架构在处理训练集中未充分表示的挑战性伪影（如分叉、阴影和侧支血管）时，效果如何？
• RQ3 数据增强在多大程度上提升了分割模型的泛化能力与鲁棒性？
• RQ4 引入精炼分支是否显著提升了分割精度，特别是在 Hausdorff 距离方面？
• RQ5 所提出的流程是否能够实现适合临床部署的实时推理速度？

主要发现

• 与当前最先进方法（Faraji 等 [8]）相比，IVUS-Net 在中膜分割的 Jaccard 指数上提升 4%，Hausdorff 距离提升 20%。
• 模型在管腔和中膜的 Hausdorff 距离上分别提升 8% 和 20%，表明边界定位精度显著提高。
• 在测试集上，IVUS-Net 的 Jaccard 指数达到 0.82（管腔）和 0.78（中膜），Hausdorff 距离为 0.50 mm（管腔）和 0.82 mm（中膜）。
• 该模型对未见伪影具有良好的泛化能力：在含分叉的帧（44 幅）、侧支血管的帧（93 幅）和阴影的帧（96 幅）上均表现优异。
• 消融实验验证了数据增强和精炼分支对性能提升的显著贡献。
• 该流程在现代 GPU 上每帧仅需 0.15 秒即可完成分割，支持临床实时应用。