[论文解读] Deep Embedding Convolutional Neural Network for Synthesizing CT Image from T1-Weighted MR Image

Lei Xiang, Qian Wang+4 more|arXiv (Cornell University)|Sep 7, 2017

Advanced Image Processing Techniques参考文献 38被引用 15

一句话总结

本文提出一种深度嵌入卷积神经网络（DECNN），通过将暂定的CT输出反复嵌入特征空间以迭代优化特征图，实现从T1加权MR图像合成CT图像。该方法在脑部和前列腺数据集上相比最先进方法，实现了更优的合成质量与更快的推理速度。

ABSTRACT

Recently, more and more attention is drawn to the field of medical image synthesis across modalities. Among them, the synthesis of computed tomography (CT) image from T1-weighted magnetic resonance (MR) image is of great importance, although the mapping between them is highly complex due to large gaps of appearances of the two modalities. In this work, we aim to tackle this MR-to-CT synthesis by a novel deep embedding convolutional neural network (DECNN). Specifically, we generate the feature maps from MR images, and then transform these feature maps forward through convolutional layers in the network. We can further compute a tentative CT synthesis from the midway of the flow of feature maps, and then embed this tentative CT synthesis back to the feature maps. This embedding operation results in better feature maps, which are further transformed forward in DECNN. After repeat-ing this embedding procedure for several times in the network, we can eventually synthesize a final CT image in the end of the DECNN. We have validated our proposed method on both brain and prostate datasets, by also compar-ing with the state-of-the-art methods. Experimental results suggest that our DECNN (with repeated embedding op-erations) demonstrates its superior performances, in terms of both the perceptive quality of the synthesized CT image and the run-time cost for synthesizing a CT image.

研究动机与目标

• 为解决T1加权MR图像与CT图像之间因模态差异导致的显著外观差异问题。
• 通过在卷积神经网络中引入一种新颖的深度嵌入机制，提升合成质量与推理速度。
• 实现准确且具有感知真实感的CT图像生成，适用于放射治疗计划与术中导航等应用。
• 在脑部与前列腺等不同解剖区域上验证该方法，证明其在多种组织与结构上的鲁棒性。

提出的方法

• 该方法采用深度卷积神经网络，首先从输入的T1加权MR图像中提取特征图。
• 利用中间特征图通过网络前向传播生成暂定的CT图像。
• 随后通过学习到的映射将暂定的CT输出重新嵌入特征空间，以优化特征图。
• 该嵌入过程在神经网络架构中重复多次，以逐步提升特征表示能力。
• 经过优化的特征图随后传递至后续网络层，生成最终的高质量CT图像。
• 网络通过感知损失与重建损失进行端到端训练，以保留解剖细节与图像保真度。

实验结果

研究问题

• RQ1 将中间CT预测结果反复嵌入特征图是否能提升MR到CT图像合成的质量？
• RQ2 所提出的DECNN在视觉质量与推理速度方面相较于现有方法表现如何？
• RQ3 该嵌入机制是否增强了跨模态图像翻译中的特征表示学习能力？
• RQ4 该方法能否在脑部与前列腺等不同解剖区域间实现良好泛化？
• RQ5 重复嵌入操作对最终CT图像合成性能有何影响？

主要发现

• 所提出的DECNN在脑部与前列腺数据集上，无论在视觉质量还是推理速度方面，均优于最先进方法。
• 迭代嵌入机制显著提升了特征表示能力，从而生成更准确且解剖学上更合理的CT图像。
• 与竞争方法相比，该方法实现了更短的推理时间，适用于临床部署。
• PSNR与SSIM等定量指标显示，该方法在基线模型上持续实现性能提升。
• 网络在不同解剖区域间表现出良好泛化能力，对组织与结构差异具有鲁棒性。
• 视觉评估表明，合成的CT图像能有效保留细微结构与解剖完整性，尤其在皮质与骨性区域表现优异。