[论文解读] Evaluation of CT Image Synthesis Methods:From Atlas-based Registration to Deep Learning

Andreas D. Lauritzen, Xenophon Papademetris+2 more|arXiv (Cornell University)|Jun 11, 2019

Medical Imaging Techniques and Applications被引用 6

一句话总结

本文评估了MRI到CT图像合成方法，比较了基于图谱的配准、深度学习（2D/3D U-Net、对抗性方法及骨骼加权U-Net）以及一种新颖的混合方法（将多图谱先验与深度学习结合）。采用对抗性训练的2D U-Net在性能、速度和内存效率之间实现了最佳平衡，优于3D模型，并在骨结构分割方面优于直接从MRI进行分割。

ABSTRACT

Computed tomography (CT) is a widely used imaging modality for medical diagnosis and treatment. In electroencephalography (EEG), CT imaging is necessary for co-registering with magnetic resonance imaging (MRI) and for creating more accurate head models for the brain electrical activity due to better representation of bone anatomy. Unfortunately, CT imaging exposes patients to potentially harmful sources of ionizing radiation. Image synthesis methods present a solution for avoiding extra radiation exposure. In this paper, we perform image synthesis to create a realistic, synthetic CT image from MRI of the same subject, and we present a comparison of different image synthesis techniques. Using a dataset of 30 paired MRI and CT image volumes, our results compare image synthesis using deep neural network regression, state-of-the-art adversarial deep learning, as well as atlas-based synthesis utilizing image registration. We also present a novel synthesis method that combines multi-atlas registration as a prior to deep learning algorithms, in which we perform a weighted addition of synthetic CT images, derived from atlases, to the output of a deep neural network to obtain a residual type of learning. In addition to evaluating the quality of the synthetic CT images, we also demonstrate that image synthesis methods allow for more accurate bone segmentation using the synthetic CT imaging than would otherwise be possible by segmenting the bone in the MRI directly.

研究动机与目标

• 评估并比较多种MRI到CT图像合成技术，包括基于图谱的配准和深度学习模型。
• 评估图像合成对骨结构分割准确性的影响，特别是比较合成CT与直接从MRI分割的结果。
• 提出并评估一种新型混合方法，利用多图谱配准作为深度神经网络的先验。
• 确定在MRI到CT图像合成中，模型复杂度、训练时间、推理速度和图像质量之间的最佳权衡。
• 证明合成CT图像在骨结构分割准确性方面优于直接基于MRI的分割。

提出的方法

• 使用多图谱配准将一组T1加权MRI与CT图谱对配准到目标受试者的MRI上，通过非刚性与仿射变换优化基于强度的配准。
• 训练一个带有跳跃连接的2D U-Net，使用平均绝对误差（MAE）损失从2D MRI切片预测CT图像，应用数据增强和归一化。
• 采用对抗性变体的2D U-Net，引入PatchGAN判别器以提升合成CT图像的感知真实感和高频细节。
• 在训练中应用骨骼加权损失，通过在损失函数中强调骨骼区域来提高骨结构区域的合成准确性。
• 提出一种新型混合方法，通过加权残差相加的方式将多图谱配准的输出（作为先验）与深度神经网络结合，以优化最终的合成CT图像。
• 所有模型均使用PSNR、MAE、SSIM和PCC在全头区域及骨掩膜区域进行评估，骨结构分割通过在合成CT图像上使用k-means聚类完成。

实验结果

研究问题

• RQ1 不同MRI到CT图像合成方法在PSNR、MAE、SSIM和PCC等定量图像质量指标上的表现如何比较？
• RQ2 合成CT成像是否能实现比仅从MRI直接分割更高的骨结构分割准确性？
• RQ3 在训练时间、推理速度和性能方面，2D U-Net是否优于3D U-Net用于MRI到CT图像合成？
• RQ4 将多图谱配准作为先验与深度学习结合，是否能提升图像合成质量与分割准确性？
• RQ5 对抗性训练如何影响合成CT图像的感知质量与结构保真度？

主要发现

• 采用对抗性训练的2D U-Net在骨掩膜区域取得了最高的PSNR（41.59 dB）和SSIM（0.97），优于3D U-Net和其他基线方法。
• 2D U-Net模型在全头区域的平均PSNR为28.01 dB，在骨区域达到41.61 dB，训练时间仅为16小时，显著快于54小时的3D U-Net训练时间。
• 2D U-Net生成的合成CT图像与真实骨结构分割的DICE重叠系数达到0.65，优于直接MRI分割的结果（DICE = 0.63）。
• 3D U-Net模型在冠状面图像上视觉上更清晰，但PSNR略低（41.51 dB），且推理时间显著更长（50–65秒），远超2D模型的10秒。
• 将图谱先验与深度学习结合的新型混合方法生成的图像感知真实感较差，可见图谱边界，表明融合策略仍需优化。
• 骨骼加权的2D U-Net在骨区域的MAE为10.06，优于标准2D U-Net的9.09，表明对骨结构的定位能力得到改善。