[论文解读] Capturing Variabilities from Computed Tomography Images with Generative Adversarial Networks

Umair Javaid, John A. Lee|arXiv (Cornell University)|May 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 3

一句话总结

本文提出了一种简单、无监督的基于GAN的框架，通过低分辨率输入（40×40）生成逼真的2D计算机断层扫描（CT）图像，实现医学影像的数据增强。该方法能够捕捉CT图像的全局与局部可变性，生成视觉上可信的图像，并在不改变网络架构的情况下有效扩展至更高分辨率，为数据稀缺的医学场景中实现自动化、生成式数据增强提供了概念验证。

ABSTRACT

With the advent of Deep Learning (DL) techniques, especially Generative Adversarial Networks (GANs), data augmentation and generation are quickly evolving domains that have raised much interest recently. However, the DL techniques are data demanding and since, medical data is not easily accessible, they suffer from data insufficiency. To deal with this limitation, different data augmentation techniques are used. Here, we propose a novel unsupervised data-driven approach for data augmentation that can generate 2D Computed Tomography (CT) images using a simple GAN. The generated CT images have good global and local features of a real CT image and can be used to augment the training datasets for effective learning. In this proof-of-concept study, we show that our proposed solution using GANs is able to capture some of the global and local CT variabilities. Our network is able to generate visually realistic CT images and we aim to further enhance its output by scaling it to a higher resolution and potentially from 2D to 3D.

研究动机与目标

• 解决由于隐私和标注限制，医学影像（尤其是CT扫描）中数据稀缺的挑战。
• 开发一种自动化、无监督的数据增强技术，生成逼真的CT图像以改善深度学习模型的训练效果。
• 证明使用简单GAN从低分辨率输入中学习并重现复杂CT图像特征的可行性。
• 确保GAN框架在不重新训练或调整参数的情况下可扩展至更高分辨率。
• 为未来3D CT图像生成及集成到医学图像分割流程中奠定基础。

提出的方法

• 使用标准交叉熵损失函数，通过条件GAN训练生成器和判别器。
• 采用全卷积生成器，包含六个转置卷积层和批量归一化，将100维噪声向量上采样至40×40×3输出。
• 判别器包含四个卷积层、Dropout层以及两个全连接层，激活函数使用LeakyReLU和Sigmoid。
• 将原始512×512 CT图像下采样至40×40用于训练，同时保留结构和强度特征。
• 使用RMSProp优化，判别器学习率为0.0001，生成器学习率为0.0002，并应用L2权重正则化。
• 通过复用相同架构和超参数，无需修改即可生成64×64图像，确保模型可扩展性。

实验结果

研究问题

• RQ1 简单的GAN架构是否能有效从低分辨率输入中学习并生成逼真的2D CT图像？
• RQ2 生成的CT图像在多大程度上能保留真实CT扫描的全局与局部解剖特征？
• RQ3 在不改变网络架构的情况下，所提出的GAN框架在扩展至更高分辨率时是否保持性能与视觉质量？
• RQ4 优化器选择（RMSProp vs. ADAM）对生成CT图像的质量与多样性有何影响？
• RQ5 该基于GAN的方法能否作为医学图像深度学习任务中可行的自动化数据增强方法？

主要发现

• GAN成功从40×40低分辨率输入生成了视觉上逼真的2D CT图像，准确捕捉了全局与局部图像结构。
• 模型在30,000个周期内实现稳定训练，且生成质量高（在单张GTX 1070 GPU上耗时约1小时）。
• 该框架在不修改任何超参数或架构的情况下，成功扩展至64×64分辨率，同时保持图像质量。
• 定性比较显示，RMSProp在生成更清晰、更逼真的CT图像方面优于ADAM。
• 使用100维噪声向量实现了多样化但合理的图像生成，表明潜在空间探索有效。
• 该方法是首次已知通过GAN从低分辨率输入生成完整2D CT图像的尝试，具有向3D扩展的潜力。