[论文解读] Class-Aware Adversarial Lung Nodule Synthesis in CT Images

Jie Yang, Siqi Liu+8 more|arXiv (Cornell University)|Dec 28, 2018

Lung Cancer Diagnosis and Treatment参考文献 12被引用 5

一句话总结

本文提出了一种类别感知的生成对抗网络（GAN）框架，用于在CT扫描中合成具有可控恶性程度标签和形态多样性的肺结节。通过使用从粗到精的生成器和双类别感知判别器，当将合成结节加入类别不平衡的训练数据时，该方法在AUC上将恶性程度分类准确率提高了2%。

ABSTRACT

Though large-scale datasets are essential for training deep learning systems, it is expensive to scale up the collection of medical imaging datasets. Synthesizing the objects of interests, such as lung nodules, in medical images based on the distribution of annotated datasets can be helpful for improving the supervised learning tasks, especially when the datasets are limited by size and class balance. In this paper, we propose the class-aware adversarial synthesis framework to synthesize lung nodules in CT images. The framework is built with a coarse-to-fine patch in-painter (generator) and two class-aware discriminators. By conditioning on the random latent variables and the target nodule labels, the trained networks are able to generate diverse nodules given the same context. By evaluating on the public LIDC-IDRI dataset, we demonstrate an example application of the proposed framework for improving the accuracy of the lung nodule malignancy estimation as a binary classification problem, which is important in the lung screening scenario. We show that combining the real image patches and the synthetic lung nodules in the training set can improve the mean AUC classification score across different network architectures by 2%.

研究动机与目标

• 解决肺结节分类中CT影像的数据稀缺和类别不平衡问题。
• 开发一种可控的合成方法，生成具有特定恶性程度标签和形态特征的结节。
• 通过合成数据增强提升深度学习模型在罕见恶性结节分类中的性能。
• 证明合成结节在提升模型在类别不平衡数据集上的泛化能力和鲁棒性方面的有效性。

提出的方法

• 采用两阶段生成器网络（G1和G2），利用上下文CT特征和随机噪声，对掩码的肺结节区域执行从粗到精的图像修复。
• 生成器通过在掩码区域和完整区域上联合使用L1重建损失进行训练，以确保结构保真度。
• 使用两个判别器（局部和全局），每个均配备辅助分类头以预测结节的恶性程度，从而同时强化局部真实感和全局一致性。
• 该框架通过类别标签和结节大小进行条件控制，实现对恶性程度和形态的调控。
• 通过在真实恶性区域和潜在噪声上进行条件控制生成合成结节，随后与真实数据结合用于训练。
• 该方法在LIDC-IDRI数据集上使用3D CNN（ResNet和ResNeXt）及标准训练协议进行评估。

实验结果

研究问题

• RQ1 基于GAN的框架能否在CT扫描中生成具有可控恶性程度标签的逼真肺结节？
• RQ2 类别感知的合成是否能提升在类别不平衡数据集上恶性程度分类模型的性能？
• RQ3 合成结节能否在泛化能力和AUC方面超越传统数据增强和类别加权方法？
• RQ4 在形态和纹理方面，生成结节的质量和多样性与真实结节相比如何？

主要发现

• 所提出的框架成功生成了具有指定恶性程度标签和不同形态的多样化肺结节，如定性结果所示。
• 将合成结节加入训练集后，与仅使用真实数据相比，多个3D CNN架构的平均AUC得分提高了2%。
• 使用合成数据微调的ResNet-152模型达到最高AUC（0.8812），优于基线模型和加权损失模型。
• 合成数据增强策略在所有评估的架构中均一致地提升了AUC，而类别加权并未带来更好的性能。
• 配备辅助分类头的双判别器设置有效引导生成器生成逼真且类别一致的结节。
• 该方法在合成肺结节以外的其他医学影像对象方面也展现出良好的泛化潜力。