[论文解读] Aligning Multi-Sequence CMR Towards Fully Automated Myocardial Pathology Segmentation

Wangbin Ding, Lei Li+6 more|arXiv (Cornell University)|Feb 7, 2023

Medical Imaging Techniques and ApplicationsMedicine被引用 3

一句话总结

该论文提出U-MyoPS，一种完全自动化的框架，用于在未对齐的多序列心脏MRI（MS-CMR）中进行心肌病理分割，通过联合执行图像配准和特征融合。它引入了一种新颖的多序列融合模块和一种结构传播头，利用病理与心肌之间的空间关系来提高分割精度，在无需预对齐的情况下，于私有和公共MS-CMR数据集上均实现了最先进性能。

ABSTRACT

Myocardial pathology segmentation (MyoPS) is critical for the risk stratification and treatment planning of myocardial infarction (MI). Multi-sequence cardiac magnetic resonance (MS-CMR) images can provide valuable information. For instance, balanced steady-state free precession cine sequences present clear anatomical boundaries, while late gadolinium enhancement and T2-weighted CMR sequences visualize myocardial scar and edema of MI, respectively. Existing methods usually fuse anatomical and pathological information from different CMR sequences for MyoPS, but assume that these images have been spatially aligned. However, MS-CMR images are usually unaligned due to the respiratory motions in clinical practices, which poses additional challenges for MyoPS. This work presents an automatic MyoPS framework for unaligned MS-CMR images. Specifically, we design a combined computing model for simultaneous image registration and information fusion, which aggregates multi-sequence features into a common space to extract anatomical structures (i.e., myocardium). Consequently, we can highlight the informative regions in the common space via the extracted myocardium to improve MyoPS performance, considering the spatial relationship between myocardial pathologies and myocardium. Experiments on a private MS-CMR dataset and a public dataset from the MYOPS2020 challenge show that our framework could achieve promising performance for fully automatic MyoPS.

研究动机与目标

• 为解决由于呼吸运动导致的临床未对齐多序列心脏MRI（MS-CMR）中心肌病理分割的挑战。
• 开发一种统一框架，同时对未对齐的MS-CMR扫描执行图像配准与特征融合。
• 通过利用心肌病理与心肌结构之间的空间关系，提升分割性能。
• 实现在无需预对齐数据情况下的全自动、时间高效且适用于临床的病理分割。

提出的方法

• 提出一种联合计算模型，以端到端方式同时优化多序列图像配准与特征融合。
• 引入多序列融合（MSF）模块，将来自不同CMR序列的非对齐特征图聚合到同一解剖空间中。
• 采用结构传播头（SPH）将提取的心肌轮廓传播，以增强瘢痕和水肿区域的分割。
• 使用基于U-Net的架构并结合跳跃连接，以保留空间细节并提高分割精度。
• 通过结合配准、心肌分割与病理分割目标的多任务损失进行模型训练。
• 采用两阶段训练策略：首先预训练配准与心肌提取，然后通过病理分割进行微调。

Figure 1: Visualization of unaligned and aligned multi-sequence cardiac magnetic resonance (MS-CMR) images. (a) Short-axis views of unaligned MS-CMR images, i.e., bSSFP (top), LGE (middle) and T2 (bottom), with contours of the left ventricle (LV) epicardium, scar and edema regions. (b) Warped bSSFP

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效在未对齐多序列心脏MRI上实现配准与分割的联合处理？
• RQ2 整合心肌结构信息如何提升心肌病理分割的准确性？
• RQ3 bSSFP、LGE与T2加权CMR序列之间的空间错位对病理分割性能有何影响？
• RQ4 配准、心肌提取与病理分割的联合优化策略是否优于独立训练？
• RQ5 所提出方法在不同扫描协议与数据集上的泛化能力如何？

主要发现

• 在私有未对齐MS-CMR数据集上，U-MyoPS的Dice分数达到73.1，证明其在无需预对齐情况下的强大性能。
• 在MYOPS2020公开数据集上，U-MyoPS的Dice分数为68.6，优于大多数现有方法，并在挑战赛中位列前茅。
• 通过联合配准与多序列特征融合，有效降低了空间错位的负面影响，提升了分割的一致性。
• 结构传播头通过利用心肌与病灶之间的空间关系，显著提升了病理分割性能。
• 单次研究的推理时间仅为10秒，证实了该方法在临床部署中的时间效率。
• 尽管性能优异，当在采集协议显著不同的数据上测试时，该方法表现出性能下降，表明仍需提升泛化能力。

Figure 2: Pipeline of the myocardial pathology segmentation (MyoPS) framework, referred to as U-MyoPS, for unaligned multi-sequence cardiac magnetic resonance (MS-CMR) images. The network architecture of the U-MyoPS includes three encoders ( $E_{{bSSFP}}$ , $E_{LGE}$ and $E_{T2}$ ) and two registrat