[论文解读] Automatic 3D bi-ventricular segmentation of cardiac images by a shape-refined multi-task deep learning approach

Jinming Duan, Ghalib Bello+8 more|arXiv (Cornell University)|Aug 26, 2018

Advanced MRI Techniques and Applications参考文献 35被引用 12

一句话总结

本文提出了一种形状优化的多任务深度学习流程，用于心脏MRI中自动的3D双心室分割，结合2.5D全卷积网络与基于关键点的图谱传播，以纠正图像伪影并确保解剖结构的平滑性。该方法在存在短轴图像切片错位、厚层扫描和不完全覆盖的情况下，仍能实现高分辨率、高精度且鲁棒的健康人群及肺动脉高压患者分割。

ABSTRACT

Deep learning approaches have achieved state-of-the-art performance in cardiac magnetic resonance (CMR) image segmentation. However, most approaches have focused on learning image intensity features for segmentation, whereas the incorporation of anatomical shape priors has received less attention. In this paper, we combine a multi-task deep learning approach with atlas propagation to develop a shape-constrained bi-ventricular segmentation pipeline for short-axis CMR volumetric images. The pipeline first employs a fully convolutional network (FCN) that learns segmentation and landmark localisation tasks simultaneously. The architecture of the proposed FCN uses a 2.5D representation, thus combining the computational advantage of 2D FCNs networks and the capability of addressing 3D spatial consistency without compromising segmentation accuracy. Moreover, the refinement step is designed to explicitly enforce a shape constraint and improve segmentation quality. This step is effective for overcoming image artefacts (e.g. due to different breath-hold positions and large slice thickness), which preclude the creation of anatomically meaningful 3D cardiac shapes. The proposed pipeline is fully automated, due to network's ability to infer landmarks, which are then used downstream in the pipeline to initialise atlas propagation. We validate the pipeline on 1831 healthy subjects and 649 subjects with pulmonary hypertension. Extensive numerical experiments on the two datasets demonstrate that our proposed method is robust and capable of producing accurate, high-resolution and anatomically smooth bi-ventricular 3D models, despite the artefacts in input CMR volumes.

研究动机与目标

• 解决短轴心脏MRI中由伪影引起的3D双心室分割不准确问题。
• 通过基于图谱传播的显式形状先验，提升分割的平滑性与解剖合理性。
• 开发一种完全自动化的流程，利用关键点检测实现非刚性配准的鲁棒初始化。
• 通过2.5D网络设计，在保持高分割精度的同时降低计算成本。
• 在包括肺动脉高压病理病例在内的多样化人群中验证性能。

提出的方法

• 训练一个2.5D全卷积网络（FCN），联合预测分割掩膜并定位短轴心脏MRI切片中的关键点。
• 2.5D架构通过在堆叠的2D切片上应用2D卷积，以较低计算成本保留3D空间一致性。
• FCN预测的关键点用于在多图谱框架中初始化非刚性配准，以实现形状优化。
• 图谱传播包括基于关键点相似性选择最相似的图谱，并执行非局部标签融合以生成优化后的分割结果。
• 通过利用人群图谱中的先验知识，显式执行形状优化步骤，以确保解剖合理性。
• 该流程完全自动化，输入体积加载后无需任何人工干预。

实验结果

研究问题

• RQ1 联合预测分割与关键点的多任务深度学习模型，是否能在常见CMR伪影存在下提升3D双心室分割的准确性？
• RQ2 基于图谱传播的形状先验在多大程度上可纠正CMR数据中的切片间错位、大层厚及不完全覆盖问题？
• RQ3 与2D和3D网络相比，所提出的2.5D FCN架构在分割准确率和计算效率方面表现如何？
• RQ4 结合基于关键点的非刚性配准与标签融合，是否能生成比标准深度学习方法更平滑、更解剖真实的3D模型？
• RQ5 与健康受试者相比，该流程在分割病理心脏（如肺动脉高压患者）时的鲁棒性如何？

主要发现

• 所提出的流程在1831名健康受试者和649名肺动脉高压患者中均实现了高分割准确率，左心室和右心室的Dice分数始终高于0.9。
• 即使输入数据包含显著伪影（如切片间错位和心尖覆盖不全），该方法仍能生成解剖结构平滑的3D模型。
• 在低分辨率CMR数据上，SSLLN-LR+SR流程生成了高分辨率分割结果，临床测量值（如LVV、RVV）与高分辨率扫描的金标准手动分割相比绝对差异极小（如LVV差异仅10.42 ml）。
• RVV差异的p值为0.001，表明差异具有统计学显著性但数值较小，提示与手动参考结果高度一致。
• 与基线2D FCN-only结果相比，形状优化步骤显著提升了分割平滑性，并减少了阶梯状伪影。
• 尽管精度很高，但形状优化步骤因基于CPU的非刚性配准与标签融合，每例耗时15–20分钟，凸显了计算瓶颈。