[论文解读] Medical Image Synthesis with Context-Aware Generative Adversarial Networks

Dong Nie, Roger Trullo+3 more|arXiv (Cornell University)|Dec 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 23

一句话总结

该论文提出了一种上下文感知的生成对抗网络（GAN），采用3D全卷积生成器，通过对抗训练和图像梯度损失实现逼真度提升，同时利用自编码上下文建模（ACM）增强上下文理解能力，实现从MRI扫描合成CT图像。该方法在脑部数据集上达到27.6的PSNR，在骨盆数据集上达到34.1的PSNR，显著优于现有方法。

ABSTRACT

Computed tomography (CT) is critical for various clinical applications, e.g., radiotherapy treatment planning and also PET attenuation correction. However, CT exposes radiation during acquisition, which may cause side effects to patients. Compared to CT, magnetic resonance imaging (MRI) is much safer and does not involve any radiations. Therefore, recently, researchers are greatly motivated to estimate CT image from its corresponding MR image of the same subject for the case of radiotherapy planning. In this paper, we propose a data-driven approach to address this challenging problem. Specifically, we train a fully convolutional network to generate CT given an MR image. To better model the nonlinear relationship from MRI to CT and to produce more realistic images, we propose to use the adversarial training strategy and an image gradient difference loss function. We further apply AutoContext Model to implement a context-aware generative adversarial network. Experimental results show that our method is accurate and robust for predicting CT images from MRI images, and also outperforms three state-of-the-art methods under comparison.

研究动机与目标

• 为解决临床中通过MRI实现无辐射CT图像估计的需求，减少患者接受电离辐射的风险。
• 克服MRI与CT图像在结构和纹理上显著不同的挑战，后者表现出明显的外观差异。
• 在MRI到CT图像合成中，超越传统回归方法，提升图像质量和真实感。
• 将基于自编码上下文建模（ACM）的上下文感知学习整合到GAN框架中，以增强长距离特征表示能力。
• 在定量指标（PSNR、MAE）和定性真实感方面，均优于当前最先进方法。

提出的方法

• 使用3D全卷积网络（FCN）作为生成器，将MRI图像块映射为CT图像块，以保持空间结构和邻域信息。
• 采用对抗训练，通过判别器区分真实CT图像与生成图像，以提升生成CT图像的真实感。
• 引入图像梯度差异损失，以保留细节并减少模糊，增强结构保真度。
• 集成自编码上下文建模（ACM），通过迭代引入前序预测的上下文特征来优化预测结果，提升长距离依赖建模能力。
• 生成器采用联合损失函数进行端到端训练：重建损失（L2）、对抗损失和梯度差异损失。
• 在两个数据集上评估框架：脑部和骨盆的MRI-CT配对数据，包含对抗训练和ACM迭代次数的消融研究。

实验结果

研究问题

• RQ1 3D GAN结合对抗训练和基于梯度的损失，是否能比传统回归方法生成更逼真、更精细的CT图像？
• RQ2 集成自编码上下文建模（ACM）如何提升GAN在MRI到CT图像合成中的性能与上下文感知能力？
• RQ3 在真实临床MRI-CT数据集上，该方法在PSNR和MAE指标上相较于SOTA方法的超越程度如何？
• RQ4 对抗训练与梯度损失的结合是否能有效减少模糊并保留生成CT图像中的解剖细节？
• RQ5 ACM迭代的最优数量是多少，能够在性能增益与训练效率之间实现最佳平衡？

主要发现

• 在脑部数据集上，该方法达到27.6的PSNR和92.5的MAE，显著优于次优方法SRF+（26.3的PSNR和99.9的MAE）。
• 在骨盆数据集上，该方法达到34.1的PSNR和39.0的MAE，优于SOTA方法SRF+（32.1的PSNR和48.1的MAE）。
• 视觉对比显示，基于GAN的方法产生的伪影更少，且在解剖连续性和表面平滑性方面表现更优，优于基线方法。
• 对抗训练有效减少模糊并提升真实感，经定性分析验证，判别器难以可靠区分真实与生成的CT图像。
• ACM优化在各次迭代中持续提升性能，前两次迭代增益最大，因此最终实验选定两次迭代。
• 消融研究证实，对抗损失与梯度差异损失的组合生成的CT图像比仅使用L2损失更清晰、更逼真。