[论文解读] Adversarial Synthesis Learning Enables Segmentation Without Target Modality Ground Truth

Yuankai Huo, Zhoubing Xu+4 more|arXiv (Cornell University)|Dec 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 11

一句话总结

该论文提出EssNet，一种端到端深度学习框架，可联合执行无配对MRI到CT图像合成与CT中脾脏分割，且无需目标CT模态的手动分割标签。通过在统一网络中整合对抗性合成与分割，EssNet实现了0.9188的中位Dice相似系数，优于两阶段方法（0.8801）和使用真实标签的监督基线方法。

ABSTRACT

A lack of generalizability is one key limitation of deep learning based segmentation. Typically, one manually labels new training images when segmenting organs in different imaging modalities or segmenting abnormal organs from distinct disease cohorts. The manual efforts can be alleviated if one is able to reuse manual labels from one modality (e.g., MRI) to train a segmentation network for a new modality (e.g., CT). Previously, two stage methods have been proposed to use cycle generative adversarial networks (CycleGAN) to synthesize training images for a target modality. Then, these efforts trained a segmentation network independently using synthetic images. However, these two independent stages did not use the complementary information between synthesis and segmentation. Herein, we proposed a novel end-to-end synthesis and segmentation network (EssNet) to achieve the unpaired MRI to CT image synthesis and CT splenomegaly segmentation simultaneously without using manual labels on CT. The end-to-end EssNet achieved significantly higher median Dice similarity coefficient (0.9188) than the two stages strategy (0.8801), and even higher than canonical multi-atlas segmentation (0.9125) and ResNet method (0.9107), which used the CT manual labels.

研究动机与目标

• 解决基于深度学习的医学图像分割在不同成像模态间泛化能力有限的挑战。
• 通过利用源模态（如MRI）的标签，消除对目标模态（如CT）手动分割标注的需求。
• 通过联合优化图像合成与分割而非将其视为独立阶段，提升分割性能。
• 开发一个统一框架，利用合成与分割之间的互补信息，实现更好的泛化能力。

提出的方法

• 提出一种端到端深度神经网络EssNet，可联合执行无配对MRI到CT图像合成与CT脾脏分割。
• 在共享的编码器-解码器架构中，将基于CycleGAN的图像转换模块与分割头相结合。
• 采用对抗性训练，确保合成的CT图像逼真且与真实CT扫描难以区分。
• 使用在MRI输入生成的合成CT图像上训练的分割分支，无需真实CT标签。
• 通过结合对抗性损失、循环一致性损失和分割损失的联合损失函数，实现整个网络的端到端优化。
• 利用合成与分割之间的反馈，同时提升图像转换质量与分割准确性。

实验结果

研究问题

• RQ1 在无目标模态真实标签的情况下，联合优化图像合成与分割是否能提升分割性能？
• RQ2 与两阶段训练相比，端到端训练在无配对模态转换中的分割精度如何？
• RQ3 从MRI到CT的合成图像分布是否足够逼真且适用于训练分割网络，而无需真实CT标注？
• RQ4 合成与分割之间的相互作用在多大程度上增强了模型的泛化能力？
• RQ5 所提出方法是否优于使用真实CT分割标签的完全监督基线方法？

主要发现

• EssNet在CT中脾脏分割上实现了0.9188的中位Dice相似系数，显著优于两阶段方法（0.8801）。
• 所提出的端到端方法超越了经典的多模板分割（0.9125）和ResNet（0.9107），两者均使用了真实CT手动标签。
• 性能提升表明，联合优化合成与分割比独立训练各阶段更为有效。
• 该模型在无配对MRI与CT图像间表现出良好的泛化能力，且无需目标模态的任何手动标注。
• 结果表明，对抗性合成学习可有效将源模态标签的知识迁移至目标模态，以提升分割性能。
• 该框架在医学影像零样本分割方面展现出强大潜力，显著降低了对昂贵手动标注的依赖。