[论文解读] Towards Robust Cardiac Segmentation using Graph Convolutional Networks

Gilles Van De Vyver, Sarina Thomas+5 more|arXiv (Cornell University)|Oct 2, 2023

Radiomics and Machine Learning in Medical Imaging被引用 4

一句话总结

本文提出一种图卷积网络（GCN）用于鲁棒的多结构心脏超声图像分割，通过将解剖结构轮廓表示为图结构，消除了解剖上不正确的分割结果。通过将GCN与U-Net结合，并利用模型间一致性作为实时不确定性预测器，该方法能够以高精度检测分布外（out-of-distribution）和低质量图像，显著提升了临床应用中的鲁棒性，超越了标准U-Net的性能表现。

ABSTRACT

Fully automatic cardiac segmentation can be a fast and reproducible method to extract clinical measurements from an echocardiography examination. The U-Net architecture is the current state-of-the-art deep learning architecture for medical segmentation and can segment cardiac structures in real-time with average errors comparable to inter-observer variability. However, this architecture still generates large outliers that are often anatomically incorrect. This work uses the concept of graph convolutional neural networks that predict the contour points of the structures of interest instead of labeling each pixel. We propose a graph architecture that uses two convolutional rings based on cardiac anatomy and show that this eliminates anatomical incorrect multi-structure segmentations on the publicly available CAMUS dataset. Additionally, this work contributes with an ablation study on the graph convolutional architecture and an evaluation of clinical measurements on the clinical HUNT4 dataset. Finally, we propose to use the inter-model agreement of the U-Net and the graph network as a predictor of both the input and segmentation quality. We show this predictor can detect out-of-distribution and unsuitable input images in real-time. Source code is available online: https://github.com/gillesvntnu/GCN_multistructure

研究动机与目标

• 解决基于U-Net的心脏超声图像分割中存在解剖结构不正确分割的根本性问题。
• 开发一种用于同时分割左心室心内膜、心外膜和左心房的多结构图卷积网络。
• 引入一种临床驱动的图正则化方法（位移法），以在多结构输出中强制实现解剖合理性。
• 评估U-Net与GCN之间的模型间一致性，作为输入质量与分割可靠性实时预测器的有效性。
• 在临床数据集（包括HUNT4）上验证该方法，确保其在真实世界中的适用性。

提出的方法

• GCN将心脏轮廓建模为图结构，其中节点代表采样的轮廓点，采用图卷积编码器-解码器架构。
• 采用基于位移的正则化方法，通过基于心脏解剖结构约束节点相对于邻近节点的位置，以强制实现解剖一致性。
• 在解码器中使用两个卷积环结构，以建模心内膜与心外膜轮廓之间的空间关系，从而提升多结构分割的泛化能力。
• 通过计算GCN与U-Net之间的模型间一致性，生成置信度分数，实现实时检测分布外或低质量输入。
• 在CAMUS数据集上评估分割精度，在HUNT4数据集上评估临床测量的可靠性。
• 基于FAST框架构建实时演示应用，用于在临床扫描环境中可视化分割结果及模型间一致性状态。

实验结果

研究问题

• RQ1 图卷积网络能否被有效扩展至多结构心脏超声图像分割，同时保持解剖正确性？
• RQ2 与标准U-Net及基线GCN方法相比，所提出的位移正则化方法是否能显著减少解剖上不正确的分割？
• RQ3 U-Net与GCN之间的模型间一致性能否作为输入图像质量与分割可靠性可靠且实时的指示器？
• RQ4 在临床测量精度方面（尤其是射血分数EF估计），GCN相较于当前最先进的U-Net变体表现如何？
• RQ5 通过过滤掉低质量或分布外的病例，模型间一致性在多大程度上改善了EF测量的一致性界限？

主要发现

• 所提出的带有位移正则化的GCN在CAMUS数据集上完全消除了所有解剖上不正确的多结构分割，实现了100%的预测解剖有效性。
• U-Net与GCN之间的模型间一致性成功识别出100例高质量、正确视角（A4C/A2C）中的93例（高一致性），而仅有15例低一致性案例中存在正确视角。
• 在低一致性案例中，55例被识别为心尖长轴（ALAX）视图或其变体——这类视图在临床实践中常见但未出现在训练数据中——表明该方法对分布外输入具有强检测能力。
• 当排除低模型间一致性案例后，所有模型的EF测量一致性界限均显著改善，其中nnU-Net的界限最窄。
• 实时演示应用成功可视化了分割结果与一致性状态，证明了其在临床集成中的实际可行性。
• 消融研究显示，改变GCN解码器架构对性能影响极小，表明编码器是模型性能的主要决定因素。