[论文解读] Hybrid graph convolutional neural networks for landmark-based anatomical segmentation

Nicolás Gaggion, Lucas Mansilla+2 more|arXiv (Cornell University)|Jun 17, 2021

Medical Imaging and Analysis参考文献 39被引用 8

一句话总结

该论文提出 HybridGNet，一种混合编码器-解码器神经网络，结合标准卷积网络进行图像特征提取与图卷积网络（GCNs），从胸部X光片生成解剖上合理的基于关键点的分割结果。通过在预定义邻接矩阵上使用谱图卷积编码拓扑约束，HybridGNet 在图像遮挡情况下表现出更强的鲁棒性，并在准确性和解剖合理性方面优于标准像素级分割模型和传统基于关键点的方法。

ABSTRACT

In this work we address the problem of landmark-based segmentation for anatomical structures. We propose HybridGNet, an encoder-decoder neural architecture which combines standard convolutions for image feature encoding, with graph convolutional neural networks to decode plausible representations of anatomical structures. We benchmark the proposed architecture considering other standard landmark and pixel-based models for anatomical segmentation in chest x-ray images, and found that HybridGNet is more robust to image occlusions. We also show that it can be used to construct landmark-based segmentations from pixel level annotations. Our experimental results suggest that HybridGNet produces accurate and anatomically plausible landmark-based segmentations, by naturally incorporating shape constraints within the decoding process via spectral convolutions.

研究动机与目标

• 开发一种深度学习架构，将图像级特征与拓扑结构相结合，实现更准确且解剖上合理的解剖结构分割。
• 解决标准像素级分割模型的局限性，这些模型缺乏关键点标注和拓扑一致性，尤其在图像遮挡情况下表现不佳。
• 通过从密集分割掩码中恢复一致的关键点对应关系，实现统计形状模型的构建。
• 在真实图像退化条件下（如临床影像中常见的模拟遮挡）评估所提方法的鲁棒性。

提出的方法

• HybridGNet 使用标准卷积编码器从 2D 胸部 X 光图像中提取分层图像特征。
• 解码器采用谱图卷积网络（GCNs）在预定义图结构上预测关键点坐标，其中节点代表关键点，边通过邻接矩阵编码解剖连接性。
• 图表示通过端到端学习获得，损失函数结合了关键点位置的均方误差（MSE）和轮廓形状的豪斯多夫距离（HD）。
• 引入双路径变体，模型联合训练以重建密集分割掩码并预测基于关键点的图表示。
• 图邻接矩阵在所有图像间固定并共享，基于一致的解剖连接模式（例如，肺部、心脏、锁骨）。
• 该方法在 JSRT 数据库上进行训练与评估，使用 247 幅高分辨率 X 光图像，关键点由专家标注。

实验结果

研究问题

• RQ1 与标准像素级模型相比，结合 CNN 与 GCN 的混合架构是否能提升基于关键点的分割精度？
• RQ2 通过图邻接矩阵显式引入拓扑约束，是否能增强解剖合理性与对图像遮挡的鲁棒性？
• RQ3 HybridGNet 是否能有效从密集分割掩码中恢复基于关键点的表示，而无需成对的关键点标注？
• RQ4 随着图像遮挡程度增加，HybridGNet 的性能如何退化？与标准 UNet 基线模型相比表现如何？

主要发现

• 在 JSRT 数据集上，HybridGNet 在关键点定位的均方误差（MSE）和豪斯多夫距离（HD）指标上显著优于基线模型，且差异具有统计学意义（p < 0.05）。
• 模型在人工遮挡下表现出更强的鲁棒性：随着遮挡块尺寸增大，HybridGNet 在 Dice 和 HD 指标上的表现均优于标准 UNet 基线。
• 双路径变体（同时预测密集掩码与关键点）并未带来相比单路径图解码器的额外性能提升，表明仅使用基于图的解码已足够且高效。
• HybridGNet 从密集分割掩码中成功重建了精确的关键点轮廓，在定量指标上优于三种基线方法，证实其在统计形状建模中的实用性。
• 定性结果表明，HybridGNet 生成的分割结果更具解剖合理性，尤其在复杂结构（如锁骨）上表现更优，因其形状不规则且对比度低。
• 使用谱图卷积使模型能够自然地强制执行拓扑一致性，生成的轮廓更平滑、更符合生物学特性，优于未施加此类约束的模型。