[论文解读] A Multi-Stage GAN for Multi-Organ Chest X-ray Image Generation and Segmentation

Giorgio Ciano|arXiv (Cornell University)|Nov 14, 2021

Radiomics and Machine Learning in Medical Imaging参考文献 50被引用 25

一句话总结

本文提出了一种三阶段 GAN 框架，用于生成带有相应语义分割标签的合成多器官胸部 X 光片。通过首先生成解剖结构的“点”，然后生成标签图，最后通过 PGGAN 和 pix2pixHD 逐步优化生成 X 光片，该方法即使仅使用 10% 的训练数据，也实现了最先进的分割性能，优于单阶段和双阶段基线方法。

ABSTRACT

Multi-organ segmentation of X-ray images is of fundamental importance for computer aided diagnosis systems. However, the most advanced semantic segmentation methods rely on deep learning and require a huge amount of labeled images, which are rarely available due to both the high cost of human resources and the time required for labeling. In this paper, we present a novel multi-stage generation algorithm based on Generative Adversarial Networks (GANs) that can produce synthetic images along with their semantic labels and can be used for data augmentation. The main feature of the method is that, unlike other approaches, generation occurs in several stages, which simplifies the procedure and allows it to be used on very small datasets. The method was evaluated on the segmentation of chest radiographic images, showing promising results. The multi-stage approach achieves state-of-the-art and, when very few images are used to train the GANs, outperforms the corresponding single-stage approach.

研究动机与目标

• 解决用于胸部 X 光片分割深度学习模型训练的标注医学图像稀缺问题。
• 通过生成高质量的合成训练数据，克服医学影像中注释数据有限的挑战。
• 开发一种保留解剖准确性的数据增强策略，以提升分割性能。
• 证明多阶段生成过程相较于单阶段或双阶段方法更具优势，尤其是在小样本数据集上。

提出的方法

• 该方法采用三阶段 GAN 流水线：首先将解剖结构部位位置生成为“点”，然后使用 pix2pixHD 将点转换为语义标签图，最后从标签图生成完整的 X 光片。
• 在初始阶段使用渐进式增长 GAN（PGGAN）生成低分辨率的解剖点图。
• 在第二和第三阶段应用 pix2pixHD，执行从点到标签图、从标签图到 X 光片的条件图像到图像的转换。
• 每个阶段独立训练，简化了训练过程并降低了各子任务的数据需求。
• 该框架通过生成多样且逼真的合成图像及其精确的分割掩码，实现了数据增强。
• 该方法具有模块化和可扩展性，可延伸至其他解剖结构或成像模态。

实验结果

研究问题

• RQ1 多阶段 GAN 框架能否仅基于有限的真实数据，生成逼真且具有准确语义分割掩码的多器官胸部 X 光片？
• RQ2 将图像生成过程分解为‘点 → 标签图 → 图像’的阶段，是否相比端到端生成方式能提升性能？
• RQ3 当仅使用 10% 的训练数据时，所提出方法在分割准确率方面与单阶段和双阶段基线相比如何？
• RQ4 放射科医生能否可靠地区分真实与生成的分割掩码？生成结果是否符合临床预期？

主要发现

• 三阶段方法在 SCR 基准数据集上实现了多器官胸部 X 光片分割的最先进性能。
• 当仅使用数据集的 10% 进行训练时，三阶段方法在分割准确率上优于双阶段和单阶段基线方法。
• 医生评估证实了生成分割掩码的高质量，专家在复杂病例中经常更倾向于选择模型输出而非真实标签。
• 在定性评估中，医生指出生成的分割更好地保留了解剖轮廓，尤其是心脏和肺部边缘。
• 该方法在高难度分割病例中表现出鲁棒性和临床合理性，专家一致认可其图像质量。
• 多阶段设计显著提升了小样本数据集上的性能，验证了分阶段生成可降低复杂度并提高学习效率的假设。