[论文解读] Cross-modality image synthesis from unpaired data using CycleGAN: Effects of gradient consistency loss and training data size

Yuta Hiasa, Yoshito Otake+6 more|arXiv (Cornell University)|Mar 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 21

一句话总结

本文提出了一种增强型CycleGAN框架，引入梯度一致性（GC）损失，用于骨骼肌系统区域的MR到CT图像合成，使用了302个体素的MR和613个体素的CT未配对数据集。GC损失提升了边界准确性，结果表明，更大的训练数据和GC损失显著提高了图像合成保真度以及下游分割性能，在合成图像上，骨盆和股骨的平均DICE值分别为0.808 ± 0.036和0.883 ± 0.029。

ABSTRACT

CT is commonly used in orthopedic procedures. MRI is used along with CT to identify muscle structures and diagnose osteonecrosis due to its superior soft tissue contrast. However, MRI has poor contrast for bone structures. Clearly, it would be helpful if a corresponding CT were available, as bone boundaries are more clearly seen and CT has standardized (i.e., Hounsfield) units. Therefore, we aim at MR-to-CT synthesis. The CycleGAN was successfully applied to unpaired CT and MR images of the head, these images do not have as much variation of intensity pairs as do images in the pelvic region due to the presence of joints and muscles. In this paper, we extended the CycleGAN approach by adding the gradient consistency loss to improve the accuracy at the boundaries. We conducted two experiments. To evaluate image synthesis, we investigated dependency of image synthesis accuracy on 1) the number of training data and 2) the gradient consistency loss. To demonstrate the applicability of our method, we also investigated a segmentation accuracy on synthesized images.

研究动机与目标

• 为解决在髋部区域从MR扫描生成准确CT图像的挑战，该区域解剖变异性和强度不一致性限制了先前方法的性能。
• 通过在CycleGAN框架中引入梯度一致性损失，改善跨模态图像合成中的边界保持能力。
• 评估训练数据规模和GC损失对骨骼肌影像中图像合成准确性和分割性能的影响。
• 证明利用未标注MR数据生成的合成CT图像实现模态无关分割的可行性。

提出的方法

• 扩展CycleGAN框架，引入梯度一致性（GC）损失，以在真实图像与合成图像之间强制实现结构对齐，特别是在组织边界处。
• 使用循环一致性损失和对抗性损失，训练生成器$G_{CT}$和$G_{MR}$在MR与CT模态之间进行图像转换。
• 对所有MR图像应用N4ITK强度非均匀性校正，以减少强度非均匀性。
• 采用双通道输入（MR和合成CT）的2D U-Net分割网络，在合成数据上执行联合分割。
• 通过改变训练数据规模（从20到613个体素的CT和302个体素的MR）以及是否包含GC损失，进行消融研究。
• 通过互信息和定性视觉检查评估图像合成质量，通过配对真实标签的DICE系数评估分割性能。

实验结果

研究问题

• RQ1 在使用CycleGAN进行MR到CT图像合成时，增加未配对训练数据的数量如何影响图像合成质量？
• RQ2 在MR输入生成的合成CT图像中，引入梯度一致性损失是否能提升边界准确性？
• RQ3 能否通过将合成CT图像作为辅助输入，显著提升对MR图像的分割性能？
• RQ4 与基线CycleGAN相比，大规模数据与GC损失的结合在分割准确性和图像保真度方面表现如何？

主要发现

• 与较小数据集相比，使用更大规模的训练数据（302个体素MR和613个体素CT）显著提升了图像合成准确性，该结果通过互信息指标验证。
• 引入梯度一致性损失后，合成CT图像的边界更加清晰，尤其在股骨头和内收肌区域，经视觉检查确认。
• 在合成图像上，分割性能随着训练数据规模增大和GC损失的引入而提升，骨盆和股骨的平均DICE值分别为0.808 ± 0.036和0.883 ± 0.029。
• GC损失特别提升了臀小肌的分割性能（p < 0.01），在大规模数据和GC损失条件下，DICE值达到0.669 ± 0.054。
• 使用合成CT图像实现的模态无关分割方法，在5折交叉验证中，其性能与单模态MR分割相当或更优，骨盆和股骨的DICE值分别为0.815 ± 0.046和0.921 ± 0.023。