[论文解读] Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection

Changhee Han, Leonardo Rundo+6 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 52被引用 16

一句话总结

本文提出了一种两步法的基于GAN的数据增强框架，首先利用渐进式增长生成对抗网络（PGGANs）从随机噪声生成带有/不带有肿瘤的高分辨率脑部MR图像，然后通过多模态无监督图像到图像翻译（MUNIT）或SimGAN对图像进行精细化处理。当与经典数据增强方法结合时，该方法将肿瘤检测的敏感度从93.67%显著提升至97.48%，在敏感度和与真实数据的分布相似性方面均优于所有基线方法。

ABSTRACT

Convolutional Neural Networks (CNNs) achieve excellent computer-assisted diagnosis with sufficient annotated training data. However, most medical imaging datasets are small and fragmented. In this context, Generative Adversarial Networks (GANs) can synthesize realistic/diverse additional training images to fill the data lack in the real image distribution; researchers have improved classification by augmenting data with noise-to-image (e.g., random noise samples to diverse pathological images) or image-to-image GANs (e.g., a benign image to a malignant one). Yet, no research has reported results combining noise-to-image and image-to-image GANs for further performance boost. Therefore, to maximize the DA effect with the GAN combinations, we propose a two-step GAN-based DA that generates and refines brain Magnetic Resonance (MR) images with/without tumors separately: (i) Progressive Growing of GANs (PGGANs), multi-stage noise-to-image GAN for high-resolution MR image generation, first generates realistic/diverse 256 X 256 images; (ii) Multimodal UNsupervised Image-to-image Translation (MUNIT) that combines GANs/Variational AutoEncoders or SimGAN that uses a DA-focused GAN loss, further refines the texture/shape of the PGGAN-generated images similarly to the real ones. We thoroughly investigate CNN-based tumor classification results, also considering the influence of pre-training on ImageNet and discarding weird-looking GAN-generated images. The results show that, when combined with classic DA, our two-step GAN-based DA can significantly outperform the classic DA alone, in tumor detection (i.e., boosting sensitivity 93.67% to 97.48%) and also in other medical imaging tasks.

研究动机与目标

• 为解决脑肿瘤检测中医学影像数据集小且碎片化的问题。
• 通过生成逼真且多样化的合成MR图像，提升基于CNN的肿瘤分类性能。
• 探究结合噪声到图像和图像到图像GAN是否能优于单一GAN方法，实现更优的数据增强效果。
• 评估ImageNet预训练以及剔除低质量合成图像对诊断性能的影响。
• 通过专家评估和t-SNE可视化，验证生成图像的临床相关性与分布保真度。

提出的方法

• 首先，利用渐进式增长生成对抗网络（PGGANs）从随机噪声生成256×256分辨率的带有或不带有肿瘤的脑部MR图像。
• 其次，应用MUNIT或SimGAN对PGGAN生成的图像进行纹理和形状优化，使其更贴近真实图像的分布。
• 采用两步集成生成流程：先由PGGANs完成初始图像合成，再通过图像到图像翻译进行精细化处理。
• 将优化后的合成图像与原始图像及经过几何增强的图像结合，用于训练二分类器（ResNet-50）。
• 在SimGAN中应用DA导向损失，在MUNIT中采用GAN/VAE混合损失，以在提升保真度的同时保持图像的真实感与多样性。
• 通过视觉图灵测试和t-SNE评估性能，指标包括肿瘤检测的敏感度、特异度以及视觉保真度。

实验结果

研究问题

• RQ1 哪些GAN架构在生成带有/不带有肿瘤的逼真且多样的全脑MR图像方面最为有效？
• RQ2 如何通过结合噪声到图像和图像到图像GAN来增强医学图像分类的数据增强效果？
• RQ3 ImageNet预训练对基于GAN的数据增强在肿瘤检测中的性能有何影响？
• RQ4 剔除低质量、'怪异外观'的合成图像对诊断敏感度和模型泛化能力有何影响？
• RQ5 GAN生成的图像在多大程度上填补了真实数据中的分布空白，特别是对于罕见或难以检测的肿瘤？

主要发现

• 两步法GAN-based数据增强方法将肿瘤检测敏感度从经典数据增强的93.67%显著提升至97.48%。
• MUNIT优化的图像实现了最高敏感度，优于SimGAN和经典数据增强方法。
• 在未进行ImageNet预训练的情况下，基于GAN的方法敏感度高于特异度，表明其有效覆盖了代表性不足的肿瘤分布。
• 视觉图灵测试结果表明，专家放射科医生无法可靠区分许多PGGAN生成的图像与真实图像，验证了其逼真度。
• t-SNE可视化显示，MUNIT优化的合成图像在类别分离性及与真实图像的分布对齐方面优于其他方法。
• 剔除'怪异外观'的合成图像后性能得到提升，尤其在未进行ImageNet预训练的情况下更为明显。