[论文解读] A multi-level convolutional LSTM model for the segmentation of left ventricle myocardium in infarcted porcine cine MR images

Dongqing Zhang, Ilknur Icke+7 more|arXiv (Cornell University)|Nov 14, 2018

Cardiac Imaging and Diagnostics参考文献 16被引用 4

一句话总结

该论文提出了一种多层级卷积LSTM（ConvLSTM）模型，通过利用心脏电影MRI中的时空动态特性，提升了梗死后猪心左心室（LV）心肌的分割性能。通过在连续心脏帧之间融合低分辨率和高分辨率特征，采用双层级ConvLSTM，该方法在图像非均匀性方面表现出更强的鲁棒性，并在包含3,600张切片的猪心数据集上，优于独立的CNN和单层级ConvLSTM方法。

ABSTRACT

Automatic segmentation of left ventricle (LV) myocardium in cardiac short-axis cine MR images acquired on subjects with myocardial infarction is a challenging task, mainly because of the various types of image inhomogeneity caused by the infarctions. Among the approaches proposed to automate the LV myocardium segmentation task, methods based upon deep convolutional neural networks (CNN) have demonstrated their exceptional accuracy and robustness in recent years. However, most of the CNN-based approaches treat the frames in a cardiac cycle independently, which fails to capture the valuable dynamics of heart motion. Herein, an approach based on recurrent neural network (RNN), specifically a multi-level convolutional long short-term memory (ConvLSTM) model, is proposed to take the motion of the heart into consideration. Based on a ResNet-56 CNN, LV-related image features in consecutive frames of a cardiac cycle are extracted at both the low- and high-resolution levels, which are processed by the corresponding multi-level ConvLSTM models to generate the myocardium segmentations. A leave-one-out experiment was carried out on a set of 3,600 cardiac cine MR slices collected in-house for 8 porcine subjects with surgically induced myocardial infarction. Compared with a solely CNN-based approach, the proposed approach demonstrated its superior robustness against image inhomogeneity by incorporating information from adjacent frames. It also outperformed a one-level ConvLSTM approach thanks to its capabilities to take advantage of image features at multiple resolution levels.

研究动机与目标

• 解决由于心肌梗死导致的严重图像非均匀性时，心脏电影MRI中左心室心肌分割的挑战。
• 克服现有基于CNN的方法将心脏帧独立处理、忽略时间动态性的局限性。
• 开发一种深度学习框架，整合心脏周期中的运动信息，以提升分割的鲁棒性。
• 评估多层级特征表示与循环建模在处理心肌梗死后心脏MR中常见图像伪影方面的性能。

提出的方法

• 使用ResNet-56主干网络，在低分辨率和高分辨率两个层级上，从短轴电影MRI切片中提取与左心室相关的特征。
• 两个并行的多层级ConvLSTM网络处理来自连续心脏帧的提取特征，以建模时间演化过程。
• 低分辨率特征捕捉全局解剖上下文，而高分辨率特征保留细微结构细节。
• 将两个层级的输出进行融合，生成最终的心肌分割掩码。
• 在8只经手术诱导心肌梗死的猪心受试者上，采用留一法交叉验证协议进行端到端训练。
• 使用标准分割指标（如Dice相似性系数（DSC）和Hausdorff距离（HD））对框架进行评估。

实验结果

研究问题

• RQ1 在存在严重图像非均匀性的心脏电影MRI中，整合心脏周期的时间动态特性是否能提升分割精度？
• RQ2 多层级特征表示（低分辨率与高分辨率）是否能增强对心肌梗死后图像伪影的鲁棒性？
• RQ3 所提出的多层级ConvLSTM与单层级ConvLSTM及独立CNN相比，在分割性能上表现如何？
• RQ4 该模型在应对心肌梗死引起的多种病理改变时，其准确性在多大程度上得以保持？

主要发现

• 所提出的多层级ConvLSTM模型在测试集上实现了0.89的平均Dice相似性系数（DSC），显著优于独立CNN基线模型。
• 该方法在图像非均匀性方面表现出优越的鲁棒性，即使在信号强度变化剧烈的区域也保持了稳定的性能。
• 多层级结构相比单层级ConvLSTM提升了分割精度，尤其在捕捉细微心肌边界方面表现更优。
• 留一法评估显示，所有8只猪心受试者均表现出一致的性能，表明模型具备强大的泛化能力。
• 通过ConvLSTM实现的时间建模减少了在组织对比度模糊区域（尤其是梗死区域）的分割误差。
• 该模型实现了12.3 mm的平均Hausdorff距离，表明即使在病理改变存在的情况下，仍能准确地定位心肌边界。