[论文解读] Cross-Domain Medical Image Translation by Shared Latent Gaussian Mixture Model

Yingying Zhu, Youbao Tang+5 more|arXiv (Cornell University)|Jul 14, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 4

一句话总结

本文提出了一种基于图像块的跨域医学图像翻译方法，利用高斯混合模型的共享潜在变量，实现在从非增强CT到增强CT翻译过程中对细微解剖结构的保留。通过使用高斯混合模型而非单一高斯分布来建模局部图像块，该方法显著提升了对钙化斑块和胰腺等小结构的保留效果，在斑块和胰腺分割任务中均优于CycleGAN和UNIT的分割精度。

ABSTRACT

Current deep learning based segmentation models often generalize poorly between domains due to insufficient training data. In real-world clinical applications, cross-domain image analysis tools are in high demand since medical images from different domains are often needed to achieve a precise diagnosis. An important example in radiology is generalizing from non-contrast CT to contrast enhanced CTs. Contrast enhanced CT scans at different phases are used to enhance certain pathologies or organs. Many existing cross-domain image-to-image translation models have been shown to improve cross-domain segmentation of large organs. However, such models lack the ability to preserve fine structures during the translation process, which is significant for many clinical applications, such as segmenting small calcified plaques in the aorta and pelvic arteries. In order to preserve fine structures during medical image translation, we propose a patch-based model using shared latent variables from a Gaussian mixture model. We compare our image translation framework to several state-of-the-art methods on cross-domain image translation and show our model does a better job preserving fine structures. The superior performance of our model is verified by performing two tasks with the translated images - detection and segmentation of aortic plaques and pancreas segmentation. We expect the utility of our framework will extend to other problems beyond segmentation due to the improved quality of the generated images and enhanced ability to preserve small structures.

研究动机与目标

• 为解决深度学习分割模型在医学影像领域间泛化能力差的问题，尤其是在标注数据有限的情况下。
• 改善在跨域图像翻译过程中对细微解剖结构（如钙化斑块和小器官）的保留效果。
• 开发一种适用于无配对图像的方法，以实现真实临床环境中配对数据稀少情况下的实际应用。
• 通过生成高保真度的合成增强CT图像，提升在非增强CT上的分割性能。

提出的方法

• 该方法采用基于图像块的方法，从非增强CT和增强CT扫描中提取32×32的小图像块，以建模局部图像统计特性。
• 使用高斯混合模型（GMM）代替单一高斯分布来建模共享潜在空间，从而捕捉图像块中的多个局部聚类。
• 通过在不同域之间共享组件的变分自编码器学习GMM结构的潜在空间，实现域不变表示学习。
• 通过将图像块从一个域映射到另一个域，利用共享的GMM结构潜在空间实现图像翻译。
• 模型通过对抗性损失和循环一致性损失进行端到端训练，以确保翻译结果的真实性和一致性。
• 该框架被用于从增强CT生成合成非增强CT图像，这些图像随后被用于分割任务的训练数据增强。

实验结果

研究问题

• RQ1 通过高斯混合模型建模的共享潜在空间，是否能在跨域医学图像翻译中比单一高斯分布更好地保留细微解剖结构？
• RQ2 所提出的基于图像块的GMM模型是否能提升在主动脉和盆腔动脉中钙化斑块分割任务中小结构的分割性能？
• RQ3 与SOTA模型如CycleGAN和UNIT相比，基于GMM的翻译方法在CT图像翻译过程中是否能更好地保留结构细节？
• RQ4 当使用该方法生成的合成图像进行训练时，对非增强CT扫描的分割精度能提升到何种程度？
• RQ5 该方法是否能推广到其他分割任务，例如在低对比度或非增强成像域中的胰腺分割任务？

主要发现

• 在非增强CT上进行主动脉斑块分割时，所提方法的Dice分数达到0.734 ± 0.136，优于CycleGAN（0.728 ± 0.154）和UNIT（0.731 ± 0.142）。
• 在胰腺分割任务中，当在合成非增强CT上进行训练时，该模型的Dice分数相比基线提高了超过0.08，且假阳性像素数减少了超过5,000个。
• 与基线相比，该方法在非增强CT上进行斑块分割时，将精确率和召回率的下降分别减少了超过1.5%和4%。
• 当使用合成非增强图像进行训练时，对比增强CT上的分割性能也得到提升，所提方法在所有方法中表现出最高的Dice分数。
• 视觉上确认，该方法在保留细微结构方面表现更优，与CycleGAN和UNIT相比，钙化斑块的模糊程度更低。
• 该方法在斑块和胰腺分割任务中均达到了SOTA性能，验证了其在跨域医学图像分析中生成高质量合成图像的能力。