[论文解读] MRI to CT Translation with GANs

Bodo Kaiser, Shadi Albarqouni|arXiv (Cornell University)|Jan 16, 2019

AI in cancer detection参考文献 20被引用 7

一句话总结

本文提出了一种基于生成对抗网络（GAN）的MRI到CT图像转换的完整流程，利用RIRE数据集并进行了严格的预处理与配准。评估了U-Net和Pix2Pix GAN架构，结果表明对抗性训练显著提升了结构相似性并减少了伪影，相较于标准卷积神经网络（CNN），Pix2Pix在训练集上的峰值信噪比（PSNR）达到60.38，在验证集上达到47.55。

ABSTRACT

We present a detailed description and reference implementation of preprocessing steps necessary to prepare the public Retrospective Image Registration Evaluation (RIRE) dataset for the task of magnetic resonance imaging (MRI) to X-ray computed tomography (CT) translation. Furthermore we describe and implement three state of the art convolutional neural network (CNN) and generative adversarial network (GAN) models where we report statistics and visual results of two of them.

研究动机与目标

• 为实现无需电离辐射的MRI到CT图像转换，以满足放射治疗计划中对CT图像的临床需求。
• 提供公开医学影像数据集的可复现、可参考的预处理与深度学习流程实现。
• 在图像质量和定量指标方面，对比最先进的CNN与基于GAN的模型在MRI到CT图像转换中的表现。
• 研究对抗性损失与梯度提升对生成CT图像中软组织结构合成的影响。
• 解决医学图像转换领域中缺乏标准化基准与最佳实践（特别是在GAN超参数选择方面）的问题。

提出的方法

• 预处理包括从RIRE数据集中提取、解压缩并使用ITK将MHD格式的三维MRI和CT数据转换为NIfTI格式。
• 采用互信息优化的刚性配准方法对MRI和CT图像进行对齐，以CT为固定参考图像，确保空间标准化。
• 实现了三种深度学习模型：使用平均绝对误差（MAE）损失的U-Net、使用最小二乘对抗损失的Pix2Pix GAN，以及经过梯度提升微调的Pix2Pix变体。
• Pix2Pix GAN采用PatchGAN判别器以增强局部真实感，对抗性损失引导生成器生成更具照片真实感的CT图像。
• 通过从去除颅骨的图像中生成脑部掩码，并在微调过程中增加软组织区域的损失权重，实现梯度提升。
• 评估使用了标准指标，包括训练集和验证集上的MAE、MSE和PSNR，并通过横断面图像进行视觉检查。

实验结果

研究问题

• RQ1 基于GAN的方法是否在结构保真度和视觉真实感方面优于标准CNN？
• RQ2 与平均绝对误差损失相比，使用PatchGAN判别器的对抗性训练如何影响合成CT图像的质量？
• RQ3 通过区域特定损失加权的梯度提升在多大程度上能改善生成CT图像中的软组织细节？
• RQ4 在RIRE数据集上，基于GAN的MRI到CT图像转换的最优训练超参数与损失配置是什么？
• RQ5 所提出的预处理与配准流程是否可可靠复现，并可作为未来医学图像转换研究的基准？

主要发现

• Pix2Pix GAN模型在训练集上的PSNR达到60.38，在验证集上达到47.55，优于U-Net在两项指标上的表现，并且在视觉质量上更优。
• 视觉对比显示，与U-Net相比，Pix2Pix模型产生的伪影更少，且在软组织区域更有效地保留了解剖结构。
• 经过梯度提升微调的Pix2Pix变体在验证集上的MAE（112.23 vs. 112.73）和PSNR（47.68 vs. 47.55）略有提升，表明其在软组织区域具有微弱优势。
• 尽管定量指标有所改善，但视觉分析未能明确证实软组织结构的增强，提示可能存在超参数调优不足或收敛问题。
• Pix2Pix中的对抗性损失成功引导优化过程趋向更优的局部极小值，从而实现了比标准CNN基线更真实的CT图像合成。
• 本研究证实，与标准CNN相比，GAN显著提升了MRI到CT图像转换的性能，但GAN在此领域的全部潜力仍因缺乏标准化基准而未被充分探索。