[论文解读] Graph Attention Network based Pruning for Reconstructing 3D Liver Vessel Morphology from Contrasted CT Images

Donghao Zhang, Siqi Liu+6 more|arXiv (Cornell University)|Mar 18, 2020

Medical Image Segmentation Techniques参考文献 27被引用 8

一句话总结

该论文提出了一种基于图注意力网络（GAT）的剪枝框架，以提升从多期增强CT图像中重建3D肝脏血管形态的性能。首先利用3D全卷积网络生成血管中心线热图，随后通过基于图像处理的追踪算法构建初始过重建的血管图，再通过GAT对CNN特征嵌入进行剪枝，以去除误报分支，相比基线方法F1分数相对提升6.4%，并达到当前最优性能。

ABSTRACT

With the injection of contrast material into blood vessels, multi-phase contrasted CT images can enhance the visibility of vessel networks in the human body. Reconstructing the 3D geometric morphology of liver vessels from the contrasted CT images can enable multiple liver preoperative surgical planning applications. Automatic reconstruction of liver vessel morphology remains a challenging problem due to the morphological complexity of liver vessels and the inconsistent vessel intensities among different multi-phase contrasted CT images. On the other side, high integrity is required for the 3D reconstruction to avoid decision making biases. In this paper, we propose a framework for liver vessel morphology reconstruction using both a fully convolutional neural network and a graph attention network. A fully convolutional neural network is first trained to produce the liver vessel centerline heatmap. An over-reconstructed liver vessel graph model is then traced based on the heatmap using an image processing based algorithm. We use a graph attention network to prune the false-positive branches by predicting the presence probability of each segmented branch in the initial reconstruction using the aggregated CNN features. We evaluated the proposed framework on an in-house dataset consisting of 418 multi-phase abdomen CT images with contrast. The proposed graph network pruning improves the overall reconstruction F1 score by 6.4% over the baseline. It also outperformed the other state-of-the-art curvilinear structure reconstruction algorithms.

研究动机与目标

• 为解决从多期增强CT图像中准确重建3D肝脏血管形态的挑战，该任务对术前手术规划至关重要。
• 克服现有方法的局限性，包括高误报分支率以及由于形态可变性和血管强度不一致导致的泛化能力差。
• 通过减少血管图中由误报分支引起的决策偏差，提升重建完整性。
• 将图神经网络与基于深度学习的血管分割相结合，以建模拓扑连通性并提升剪枝精度。
• 开发一种通用框架，可适配其他3D曲线状结构重建任务，如冠状动脉或气道血管追踪。

提出的方法

• 训练一个3D全卷积神经网络，利用人工勾画的地面真实中心线作为监督信号，从多期增强CT图像中生成血管中心线热图。
• 使用Rivulet2算法在热图上构建初始血管图，该算法对血管树具有高敏感性但低特异性，导致过重建。
• 将初始图转换为双图表示，其中每个节点对应一个子分支，节点特征由对应子分支的CNN特征聚合得到。
• 应用图注意力网络（GAT）预测每个子分支的存在概率，注意力机制使模型能够聚焦于相关结构与特征线索以实现剪枝。
• GAT输出每个节点（子分支）的置信度分数，用于过滤掉低置信度的、可能为误报的分支，同时保留真实血管结构。
• 使用标准指标（包括F1分数、对称平均距离（SD）和子结构Dice（SSD））对最终剪枝图进行评估，并与基线方法及当前最先进方法进行比较。

实验结果

研究问题

• RQ1 图注意力网络能否在不损失召回率的前提下，有效减少3D肝脏血管重建中的误报分支？
• RQ2 与未使用GNN优化的基线图追踪方法相比，基于GAT的剪枝方法在F1分数上提升了多少？
• RQ3 将CNN特征嵌入与GAT结合，能在多大程度上提升重建血管树的拓扑一致性？
• RQ4 所提出的框架是否可泛化至其他曲线状结构重建任务，如冠状动脉或气道血管追踪？
• RQ5 不同子分支采样长度对最终重建质量与鲁棒性有何影响？

主要发现

• 与基线Rivulet2方法（0.8124 ± 0.0514）相比，所提方法在F1分数上实现了6.4%的相对提升（0.8762 ± 0.0549），表明GAT剪枝带来显著性能增益。
• 在所有对比的SOTA方法中，该方法取得了最高的F1分数，优于MOST（0.6984）、NeuTube（0.4158）、APP2（0.2921）、Smart Tracing（0.7521）、Snake（0.7738）和TreMap（0.3422）。
• 该方法在保持高召回率（0.8354 ± 0.0849）的同时，显著提升了精确率（0.9280 ± 0.0497），表明误报分支被有效减少。
• 该方法实现了最低的对称平均距离（SD: 2.46 ± 0.668 mm）和pSSD（0.136 ± 0.0433），表明在血管位置的空间精度方面表现更优。
• 该框架在不同子分支采样长度下表现出鲁棒性，最优性能出现在5mm采样长度，此时F1分数最高（0.876 ± 0.055）。
• 消融实验证实，GAT剪枝显著提升了重建质量，完整框架相比无GNN优化的基线方法，F1分数提升了6.38%。