[论文解读] Unpaired Brain MR-to-CT Synthesis using a Structure-Constrained CycleGAN

Heran Yang, Jian Sun+5 more|arXiv (Cornell University)|Sep 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用 15

一句话总结

本文提出一种结构约束的CycleGAN用于无配对的MR到CT图像合成，通过基于模态无关邻域描述符（MIND）的损失，强制输入MR图像与生成的CT图像之间保持结构一致性。通过将该损失与对抗性损失和循环一致性训练相结合，并采用基于位置的图像选择策略，该方法在性能上优于传统CycleGAN，并接近使用配对数据训练的CycleGAN，尤其在保留颅骨等解剖结构方面表现优异。

ABSTRACT

The cycleGAN is becoming an influential method in medical image synthesis. However, due to a lack of direct constraints between input and synthetic images, the cycleGAN cannot guarantee structural consistency between these two images, and such consistency is of extreme importance in medical imaging. To overcome this, we propose a structure-constrained cycleGAN for brain MR-to-CT synthesis using unpaired data that defines an extra structure-consistency loss based on the modality independent neighborhood descriptor to constrain structural consistency. Additionally, we use a position-based selection strategy for selecting training images instead of a completely random selection scheme. Experimental results on synthesizing CT images from brain MR images demonstrate that our method is better than the conventional cycleGAN and approximates the cycleGAN trained with paired data.

研究动机与目标

• 解决无配对MR-to-CT合成中输入MR与合成CT图像之间缺乏结构一致性的挑战。
• 在不依赖真实分割结果的前提下，强制合成CT图像中保留解剖结构。
• 通过引入基于MIND特征的结构一致性损失，提升CycleGAN在无配对数据上的性能。
• 通过基于位置的图像选择策略，提升训练稳定性和生成器质量。
• 在无需配对训练数据的情况下，实现接近配对训练CycleGAN的性能。

提出的方法

• 提出一种基于模态无关邻域描述符（MIND）的结构一致性损失，以强制输入MR与生成CT图像之间的体素级特征相似性。
• 采用改进的CycleGAN框架，包含两个生成器（MR-to-CT和CT-to-MR）和两个判别器（分别针对CT和MR域）。
• 结合三种损失组件：用于分布匹配的对抗性损失、用于循环重建的循环一致性损失，以及所提出的基于MIND的结构一致性损失。
• 应用基于位置的图像选择策略，从每个体的中心±5个切片范围内选择训练切片，以提升训练稳定性和生成器质量。
• 为两个生成器采用残差U-Net架构，为判别器采用PatchGAN以实现高分辨率图像的真实感。
• 使用Adam优化器，以固定的初始学习率0.0002优化总损失函数。

实验结果

研究问题

• RQ1 基于MIND特征的结构一致性损失是否能提升无配对MR-to-CT合成中的解剖保真度？
• RQ2 基于位置的图像选择策略是否能提升生成器性能并减少CycleGAN训练中的模式崩溃？
• RQ3 与传统CycleGAN及使用配对数据训练的CycleGAN相比，该方法在结构相似性和图像质量方面的表现如何？
• RQ4 该方法是否能在无需真实分割或配对数据的情况下实现接近配对训练的性能？
• RQ5 结构一致性损失在合成CT图像中对骨骼和颅骨区域的重建改善程度如何？

主要发现

• 在所有指标（MAE、PSNR、SSIM、SSIM(HG)）上，所提方法显著优于传统CycleGAN（配对t检验p < 0.001）。
• 该方法在SSIM(HG)指标上达到与使用配对数据训练的CycleGAN相当的水平，表明对高梯度结构（如颅骨）具有出色的保留能力。
• 与随机采样相比，基于位置的选择策略在SSIM(HG)上实现了统计上显著的提升（p < 0.001），其他指标则有微小增益。
• 视觉结果表明，与传统CycleGAN相比，所提方法生成的合成CT图像结构伪影更少，且与输入MR解剖结构对齐更佳。
• 该模型在真实感与解剖一致性之间实现了良好平衡，结构一致性损失有效减少了如颅骨等关键区域的错位现象。
• 该模型在未见测试受试者上泛化良好，在15例测试患者的数据集上保持了稳定的性能。