[论文解读] Deep CT to MR Synthesis using Paired and Unpaired Data

Cheng‐Bin Jin, Hakil Kim+7 more|arXiv (Cornell University)|May 28, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 21被引用 10

一句话总结

该论文提出了一种新颖的MR-GAN框架，通过联合利用配对与非配对训练数据，从脑部CT扫描合成高保真度的MR图像。通过整合对抗性损失、配对与非配对数据间的双重循环一致性损失，以及体素级损失，该方法在定性和定量评估中均显著优于现有方法，实现了最先进性能，平均绝对误差（MAE）为19.36 ± 2.73，信噪比峰值（PSNR）为65.35 ± 0.86。

ABSTRACT

MR imaging will play a very important role in radiotherapy treatment planning for segmentation of tumor volumes and organs. However, the use of MR-based radiotherapy is limited because of the high cost and the increased use of metal implants such as cardiac pacemakers and artificial joints in aging society. To improve the accuracy of CT-based radiotherapy planning, we propose a synthetic approach that translates a CT image into an MR image using paired and unpaired training data. In contrast to the current synthetic methods for medical images, which depend on sparse pairwise-aligned data or plentiful unpaired data, the proposed approach alleviates the rigid registration challenge of paired training and overcomes the context-misalignment problem of the unpaired training. A generative adversarial network was trained to transform 2D brain CT image slices into 2D brain MR image slices, combining adversarial loss, dual cycle-consistent loss, and voxel-wise loss. The experiments were analyzed using CT and MR images of 202 patients. Qualitative and quantitative comparisons against independent paired training and unpaired training methods demonstrate the superiority of our approach.

研究动机与目标

• 为解决基于CT的放射治疗计划在软组织对比度和肿瘤分割方面的局限性，通过从CT扫描合成类似MR的图像。
• 通过统一框架克服非配对训练中的上下文错位问题以及配对训练中的模糊问题。
• 通过在统一训练目标中结合对抗性损失、循环一致性损失和体素级损失，提升图像合成质量。
• 实现在存在金属植入物的患者或MR扫描不可及的资源有限环境中的实际应用。
• 将该框架扩展至其他医学图像合成任务，如MR-CT和CT-PET图像合成。

提出的方法

• MR-GAN框架采用生成对抗网络，其中判别器被训练以区分真实图像与合成图像。
• 通过四种循环路径强制执行双重循环一致性损失：非配对数据的正向与反向循环，以及配对数据的正向与反向循环，确保结构一致性。
• 模型结合对抗性损失以提升真实感，循环一致性损失以保证域迁移的保真度，以及利用配对数据的体素级损失以实现像素级精度。
• 生成器与判别器网络联合训练，其中生成器的目标是生成与真实MR图像难以区分的图像。
• 该架构在判别器中引入共享网络、额外头部网络和额外尾部网络，以提升特征学习能力并防止过拟合。
• 该框架支持端到端训练，同时利用有限的配对数据与丰富的非配对数据，从而增强泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 深度生成模型是否能有效利用配对与非配对数据，从CT扫描中合成逼真的MR图像？
• RQ2 与单独使用各类损失相比，结合对抗性损失、循环一致性损失与体素级损失在多大程度上提升了合成质量？
• RQ3 双重循环一致性训练机制是否能有效减少非配对数据翻译中的解剖错位，并提升结构保真度？
• RQ4 配对数据的引入在多大程度上缓解了合成MR图像中的模糊问题，并提升了像素级精度？
• RQ5 所提出的框架是否可推广至其他医学图像合成任务，如MR-CT或CT-PET图像转换？

主要发现

• 所提出的MR-GAN在所有对比方法中实现了最低的平均绝对误差（MAE）19.36 ± 2.73，表明具有较高的像素级精度。
• 该模型实现了最高的信噪比峰值（PSNR）65.35 ± 0.86，证明图像质量与保真度卓越。
• 合成的MR图像相比基线方法显著减少了模糊，且在软组织、血管和脑回等结构上展现出更佳的解剖细节。
• 双重循环一致性损失有效减少了非配对数据中的上下文错位，提升了结构一致性。
• 采用负对数似然损失的判别器在MAE与PSNR指标上优于最小二乘损失，表明优化更稳定。
• 从合成MR输出重建的CT图像与原始CT输入高度相似，证实了循环一致性在保持解剖结构方面的有效性。