[论文解读] Generative Adversarial Networks for MR-CT Deformable Image Registration

Christine Tanner, Fırat Özdemir+4 more|arXiv (Cornell University)|Jul 19, 2018

Medical Image Segmentation Techniques参考文献 5被引用 47

一句话总结

本文评估基于 cycle-GAN 的 MR-CT 图像合成在形变配准中的应用，结果发现合成可以保留或退化空间对应关系；腹部配准可以达到与最先进的多模态方法相当的水平，而胸部结果由于肺容量偏差而受影响。

ABSTRACT

Deformable Image Registration (DIR) of MR and CT images is one of the most challenging registration task, due to the inherent structural differences of the modalities and the missing dense ground truth. Recently cycle Generative Adversarial Networks (cycle-GANs) have been used to learn the intensity relationship between these 2 modalities for unpaired brain data. Yet its usefulness for DIR was not assessed. In this study we evaluate the DIR performance for thoracic and abdominal organs after synthesis by cycle-GAN. We show that geometric changes, which differentiate the two populations (e.g. inhale vs. exhale), are readily synthesized as well. This causes substantial problems for any application which relies on spatial correspondences being preserved between the real and the synthesized image (e.g. plan, segmentation, landmark propagation). To alleviate this problem, we investigated reducing the spatial information provided to the discriminator by decreasing the size of its receptive fields. Image synthesis was learned from 17 unpaired subjects per modality. Registration performance was evaluated with respect to manual segmentations of 11 structures for 3 subjects from the VISERAL challenge. State-of-the-art DIR methods based on Normalized Mutual Information (NMI), Modality Independent Neighborhood Descriptor (MIND) and their novel combination achieved a mean segmentation overlap ratio of 76.7, 67.7, 76.9%, respectively. This dropped to 69.1% or less when registering images synthesized by cycle-GAN based on local correlation, due to the poor performance on the thoracic region, where large lung volume changes were synthesized. Performance for the abdominal region was similar to that of CT-MRI NMI registration (77.4 vs. 78.8%) when using 3D synthesizing MRIs (12 slices) and medium sized receptive fields for the discriminator.

研究动机与目标

• 动机与评估在使用 cycle-GAN 将一种模态合成为另一种模态时的 MR-CT 形变图像配准（DIR）。
• 研究降低判别器感受野是否能减轻合成图像中的几何错配。
• 在胸部和腹部感兴趣区域（ROI）上，将合成的 MR/CT 与强基线多模态 DIR（NMI、MIND、NMI+MIND）相比，评估 DIR 性能。
• 考察区域大小和合成参数如何影响配准结果。
• 就如何平衡模态数据集以避免 cycle-GAN 引起的空间偏差提供指导。

提出的方法

• 采用基于 2D 残差型 cycle-GAN 的 MR 从 CT、CT 从 MR 的合成，使用 PatchGAN 判别器。
• 在每种模态上使用 17 名未配对受试者进行训练，并在胸腔和腹部 ROI 上评估三维合成。
• 引入循环一致性损失，采用包含循环 L1 项的加权目标（lambda_cyc = 10）。
• 使用将 NMI 和 MIND 相异性结合在一起的多模态 DIR 框架（ourDIR）对 CT/MR 与合成图像进行配准。
• 先进行刚性初始化，然后在位移场上采用总变差或 L2 正则化的可变形配准。
• 试验判别器感受野大小（P×P 补丁）对几何一致性的影响。

实验结果

研究问题

• RQ1 cycle-GAN 合成的 MR/CT 图像是否能够在 MR-CT 形变配准中实现与标准多模态 DIR 指标相当的精度？
• RQ2 区域大小和判别器感受野如何影响合成图像的几何一致性和配准精度？
• RQ3 NMI 与 MIND 的组合是否比单模态或基于合成的方法更能提升 DIR？
• RQ4 在使用合成图像时，区域（胸腔 vs 腹部）的 DIR 性能差异是什么？

主要发现

• 使用合成 MR/CT 的配准在不同区域下可达到或略逊于未配对多模态方法；腹部在合成数据下的性能接近 CT-MR NMI 结果（约 77.4–78.8% Dice 区间）。
• 胸部配准在合成图像下显著降级，原因是 cycle-GAN 引入的肺容量偏差。
• 将 NMI 与 MIND 相结合（NMI+MIND）在胸腔和腹部取得有竞争力的结果，最佳性能来自基于初始梯度的加权（beta 约等于 0.8）。
• 从 CT 进行的 3D MR 合成和从 MR 进行的 3D CT 合成需要小心处理区域；肺轮廓不一致和切片到切片的不一致可能发生，尤其是在较小 ROI 深度（C=3）时。
• 较浅的判别器（P=34）可以减少肺部错位，但可能降低合成质量，凸显现实感与几何保真之间的权衡。