[论文解读] An Adversarial Learning Approach to Medical Image Synthesis for Lesion Detection

Liyan Sun, Jiexiang Wang+4 more|arXiv (Cornell University)|Oct 25, 2018

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 16

一句话总结

该论文提出ANT-GAN，一种条件生成对抗网络，可将含病灶的医学影像翻译为对应的正常外观图像，且无需成对训练数据。通过利用循环一致性与异常掩码正则化，该模型生成了逼真的健康图像，从而提升病灶分割与分类性能，同时通过生成合成异常图像实现数据增强。

ABSTRACT

The identification of lesion within medical image data is necessary for diagnosis, treatment and prognosis. Segmentation and classification approaches are mainly based on supervised learning with well-paired image-level or voxel-level labels. However, labeling the lesion in medical images is laborious requiring highly specialized knowledge. We propose a medical image synthesis model named abnormal-to-normal translation generative adversarial network (ANT-GAN) to generate a normal-looking medical image based on its abnormal-looking counterpart without the need for paired training data. Unlike typical GANs, whose aim is to generate realistic samples with variations, our more restrictive model aims at producing a normal-looking image corresponding to one containing lesions, and thus requires a special design. Being able to provide a "normal" counterpart to a medical image can provide useful side information for medical imaging tasks like lesion segmentation or classification validated by our experiments. In the other aspect, the ANT-GAN model is also capable of producing highly realistic lesion-containing image corresponding to the healthy one, which shows the potential in data augmentation verified in our experiments.

研究动机与目标

• 解决有限标注医学图像数据的问题，特别是病灶检测任务中，标注异常区域耗时且需专业知识。
• 开发一种方法，从异常扫描中生成逼真、无病灶的医学图像，且不依赖成对训练数据。
• 通过提供‘正常’参考图像作为辅助信息，提升医学图像分析任务（如病灶分割与分类）的性能。
• 探索模型的双重能力：不仅能从健康输入生成逼真病灶图像，还能在数据稀缺场景下支持数据增强。

提出的方法

• 提出一种异常到正常图像转换的生成对抗网络（ANT-GAN），其条件生成器可将病灶图像映射为健康图像。
• 在损失函数中引入二值异常掩码项，显式指导病灶区域的修改，同时保留健康区域。
• 通过训练反向的正常到异常生成器，强制实现循环一致性，从而稳定训练并改善特征学习。
• 使用判别器区分真实健康图像与生成的健康图像，确保输出结果的真实性。
• 端到端训练模型，损失函数包含对抗损失、循环一致性损失与异常掩码正则化，无需真实/正常图像的成对数据。
• 利用训练好的模型生成伪正常与伪异常图像，为下游任务提供数据增强支持。

实验结果

研究问题

• RQ1 基于GAN的模型能否在无成对训练数据的情况下，从异常扫描中生成逼真、无病灶的医学图像？
• RQ2 所提出的异常掩码正则化在修改病灶区域的同时，对健康组织的保护效果如何？
• RQ3 生成的正常图像在多大程度上能提升病灶分割与分类性能？
• RQ4 训练好的模型是否也能从健康输入生成逼真病灶图像？其在数据增强中的作用如何？
• RQ5 ANT-GAN模型在不同成像模态（如MRI与CT）和解剖区域（脑部与肝脏）中的表现如何？

主要发现

• ANT-GAN成功从含病灶的MRI扫描中生成高度逼真的正常外观图像，输入与输出之间的差异图能清晰显示病灶区域。
• 当输入为健康图像时，生成器输出与输入几乎完全一致，证实其不会错误地引入新病灶。
• 在BratS18数据集上，当使用包含50张合成正常图像与50张合成异常图像的数据增强后，分类器的F1-score从64.4%提升至77.6%，提升12.2%。
• 该模型在不同成像模态上具有泛化能力，在脑部MRI（T1、T1ce、T2）与肝脏CT扫描中均生成了合理结果，尽管CT因病灶对比度较低，出现轻微形变。
• 异常掩码参数λ_AM = 10在病灶修改与健康组织保护之间实现了最佳平衡。
• 训练好的N2A生成器成功合成出逼真病灶图像，病灶位于解剖学上合理的位置，证明了该模型在数据增强方面的潜力。