[论文解读] Multi-Planar Deep Segmentation Networks for Cardiac Substructures from MRI and CT

Aliasghar Mortazi, Jeremy R. Burt+1 more|arXiv (Cornell University)|Aug 3, 2017

Advanced Neural Network Applications参考文献 7被引用 12

一句话总结

该论文提出了一种多平面深度学习框架 MO-MP-CNN，可对 MRI 和 CT 扫描中的七个心脏亚结构（如左心室、心肌、主动脉等）实现精确的端到端分割。通过在轴向、冠状和矢状平面分别训练 2D 卷积神经网络（CNN），并采用自适应融合策略，该方法在 CT 上实现了 0.90 的 Dice 分数，在 MRI 上实现了 0.85 的 Dice 分数，使用 GPU 进行推理的时间分别为约 50 秒（CT）和约 17 秒（MRI）。

ABSTRACT

Non-invasive detection of cardiovascular disorders from radiology scans requires quantitative image analysis of the heart and its substructures. There are well-established measurements that radiologists use for diseases assessment such as ejection fraction, volume of four chambers, and myocardium mass. These measurements are derived as outcomes of precise segmentation of the heart and its substructures. The aim of this paper is to provide such measurements through an accurate image segmentation algorithm that automatically delineates seven substructures of the heart from MRI and/or CT scans. Our proposed method is based on multi-planar deep convolutional neural networks (CNN) with an adaptive fusion strategy where we automatically utilize complementary information from different planes of the 3D scans for improved delineations. For CT and MRI, we have separately designed three CNNs (the same architectural configuration) for three planes, and have trained the networks from scratch for voxel-wise labeling for the following cardiac structures: myocardium of left ventricle (Myo), left atrium (LA), left ventricle (LV), right atrium (RA), right ventricle (RV), ascending aorta (Ao), and main pulmonary artery (PA). We have evaluated the proposed method with 4-fold-cross validation on the multi-modality whole heart segmentation challenge (MM-WHS 2017) dataset. The precision and dice index of 0.93 and 0.90, and 0.87 and 0.85 were achieved for CT and MR images, respectively. While a CT volume was segmented about 50 seconds, an MRI scan was segmented around 17 seconds with the GPUs/CUDA implementation.

研究动机与目标

• 开发一种统一的深度学习框架，能够从 MRI 和 CT 扫描中分割所有主要心脏亚结构。
• 通过在多个正交平面上训练 2D CNN 而非 3D 网络，解决 3D 医学影像数据有限的挑战。
• 通过一种自适应融合策略，动态结合不同成像平面的预测结果，提升分割精度。
• 在数据和硬件受限的条件下，实现跨模态的高效率与鲁棒性。
• 将先前针对单一结构（如左心室或左心房）的研究扩展至多结构、多模态的全心脏分割。

提出的方法

• 该方法采用三个独立的 2D 卷积神经网络（CNN），分别用于轴向、冠状和矢状平面，每个网络均从零开始在特定模态的数据上进行训练。
• 每个 2D CNN 采用编码器-解码器架构，包含 12 层卷积层和跳跃连接，以保留空间细节，实现精确的体素级标注。
• 应用基于排名的自适应融合策略，将三个平面的概率图进行融合，根据预测置信度和一致性，为每种结构动态选择最优融合权重。
• 采用数据增强技术，包括随机缩放（1.1–1.3×）、旋转（±45°）和直方图匹配，以提升泛化能力，尤其针对 MRI 减少强度非均匀性。
• 在 MM-WHS 2017 数据集上采用 4 折交叉验证进行训练，CT（123 例受试者）和 MRI（123 例受试者）分别使用独立的训练集。
• 推理过程通过 NVIDIA TitanXp GPU 和 TensorFlow 加速，实现了全心脏体积的实时分割。

实验结果

研究问题

• RQ1 多平面 2D CNN 框架是否能够在 MRI 和 CT 两种模态下实现对全部七个心脏亚结构的高精度分割？
• RQ2 自适应融合策略在结合多平面成像预测结果方面，是否能有效提升分割的鲁棒性与准确性？
• RQ3 在数据有限的条件下，从零开始训练 2D CNN 是否能优于现有的基于图谱或单模态深度学习方法？
• RQ4 在数据和硬件受限条件下，使用 2D 与 3D CNN 时，推理速度与分割精度之间的权衡如何？
• RQ5 模态特定的预处理（如 MRI 的直方图匹配）在多大程度上能提升分割性能？

主要发现

• 所提出的 MO-MP-CNN 在所有七个心脏亚结构上，CT 的平均 Dice 指数为 0.90，MRI 为 0.85，表现出高分割精度。
• CT 的平均敏感性为 0.866，MRI 为 0.831；精度值分别为 0.929（CT）和 0.868（MRI），表明检测与定位性能出色。
• 平均表面到表面（S2S）距离为 MRI 1.450 mm，CT 1.551 mm，表明预测分割与真实分割之间解剖结构对齐良好。
• 使用多块 GPU 进行推理，全心脏分割时间约为 17 秒（MRI）和 50 秒（CT），显著优于基于 CPU 的推理（分别为 8 分钟和 30 分钟）。
• 自适应融合策略提升了各平面间分割的一致性，尤其在右心室和肺动脉等复杂结构中，误分割现象明显减少。
• 模型在跨模态下表现出强泛化能力，特异性高于 0.998，即使在解剖结构复杂的区域也具有鲁棒性，如图 4 所示的定性结果所示。