[论文解读] Multi-Modality Cardiac Image Analysis with Deep Learning

Lei Li, Fuping Wu+2 more|arXiv (Cornell University)|Nov 8, 2021

Cardiac Imaging and Diagnostics被引用 4

一句话总结

本文提出用于多模态心脏影像分析的深度学习框架，重点针对利用非增强MRI作为辅助信息的LGE-MRI左心房瘢痕分割，并引入三种无监督域自适应方法——DDFSeg、CFDNet和VarDA，以实现跨模态心脏分割。所提方法通过利用显式域差异度量和解耦特征学习，提升了分割精度，其中VarDA在LGE-MRI分割任务中达到最先进性能（Dice：心肌73.03%，左心室88.06%）。

ABSTRACT

Accurate cardiac computing, analysis and modeling from multi-modality images are important for the diagnosis and treatment of cardiac disease. Late gadolinium enhancement magnetic resonance imaging (LGE MRI) is a promising technique to visualize and quantify myocardial infarction (MI) and atrial scars. Automating quantification of MI and atrial scars can be challenging due to the low image quality and complex enhancement patterns of LGE MRI. Moreover, compared with the other sequences LGE MRIs with gold standard labels are particularly limited, which represents another obstacle for developing novel algorithms for automatic segmentation and quantification of LGE MRIs. This chapter aims to summarize the state-of-the-art and our recent advanced contributions on deep learning based multi-modality cardiac image analysis. Firstly, we introduce two benchmark works for multi-sequence cardiac MRI based myocardial and pathology segmentation. Secondly, two novel frameworks for left atrial scar segmentation and quantification from LGE MRI were presented. Thirdly, we present three unsupervised domain adaptation techniques for cross-modality cardiac image segmentation.

研究动机与目标

• 解决LGE-MRI图像质量低劣以及心肌梗死和心房瘢痕量化缺乏金标准标注的挑战。
• 开发基于LGE-MRI和互补非增强MRI序列的鲁棒深度学习框架，用于左心房瘢痕分割。
• 通过引入无监督域自适应技术，减少CT与MR图像之间的域偏移，提升跨模态心脏分割性能。
• 评估并比较显式域差异度量与对抗性训练在跨成像模态分割任务中的表现。

提出的方法

• 提出LearnGC和AtrialJSQnet网络，利用LGE-MRI和非增强MRI作为辅助输入，实现左心房瘢痕分割。
• 提出DDFSeg域自适应框架，将域特定特征（DSFs）与内容特征解耦，以提升图像转换与域适应性能。
• 开发CFDNet，采用一种新颖的显式度量——混凝土弗雷chet距离（CFD），用于度量源域与目标域特征之间的域差异，替代对抗性训练。
• 提出VarDA，一种变分域自适应方法，利用变分近似简化度量计算并改进特征相关性建模。
• 应用无监督域自适应技术，实现从CT到MR图像以及从MR到LGE-MRI的迁移学习，仅使用无标签目标数据。
• 采用2D切片级分割方法，结合多序列MRI输入，通过数据增强与归一化提升模型鲁棒性。

Figure 1: Visualization of myocardial pathology segmentation combing multi-sequence CMR images acquired from the same patient. Image adopted from the website of MyoPS 2020 challenge: http://www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20/.

实验结果

研究问题

• RQ1 当结合非增强MRI序列时，深度学习模型能否有效分割LGE-MRI中的左心房瘢痕？
• RQ2 在跨模态心脏影像分割任务中，显式域差异度量与对抗性训练相比表现如何？
• RQ3 特征解耦在多模态心脏MRI分析中的域自适应性能提升方面能发挥多大作用？
• RQ4 无监督域自适应框架在无需标注目标数据的情况下，能否有效缩小CT与MR心脏分割性能差距？
• RQ5 在低资源LGE-MRI数据上，变分近似在域自适应中的应用对提升分割精度有何影响？

主要发现

• VarDA在LGE-MRI分割中取得最高Dice分数，分别为心肌（MYO）73.03%、左心室（LV）88.06%、右心室（RV）78.47%，优于CFDNet和SIFA。
• CFDNet的分割性能与对抗性训练方法相当，Dice分数为69.1%（MYO）、86.4%（LV）、76.0%（RV），证明了显式度量学习的有效性。
• DDFSeg成功实现域特定特征的解耦，提升了图像转换质量，并在多序列MRI任务中实现了更优的域自适应。
• VarDA中使用变分近似显著降低了计算复杂度，并改善了特征相关性建模，从而带来更稳定、更精确的分割结果。
• PnP-AdaNet及其他基线方法在RV分割中表现较差，尤其相较于VarDA和CFDNet，凸显了显式度量学习的优势。
• 视觉对比结果表明，VarDA与CFDNet生成的分割边界比基线方法更具解剖学合理性，尤其在低对比度复杂区域表现更优。

Figure 2: The average Dice score of the nine evaluated methods on each slice of the 40 test LGE CMR images. Image adopted from Zhuang et al. [ 28 ]