[论文解读] Infinite Brain MR Images: PGGAN-based Data Augmentation for Tumor Detection

Changhee Han, Leonardo Rundo+5 more|arXiv (Cornell University)|Mar 29, 2019

Brain Tumor Detection and Classification被引用 5

一句话总结

本文提出一种基于PGGAN的数据增强方法，用于生成高分辨率（256×256）的合成对比增强T1加权脑部MR图像，以提升肿瘤检测性能。通过利用渐进式增长训练，该方法生成逼真且多样的图像，填补真实数据分布中的空白，在与经典数据增强技术结合时，肿瘤检测准确率提升了1.02%。

ABSTRACT

Due to the lack of available annotated medical images, accurate computer-assisted diagnosis requires intensive Data Augmentation (DA) techniques, such as geometric/intensity transformations of original images; however, those transformed images intrinsically have a similar distribution to the original ones, leading to limited performance improvement. To fill the data lack in the real image distribution, we synthesize brain contrast-enhanced Magnetic Resonance (MR) images---realistic but completely different from the original ones---using Generative Adversarial Networks (GANs). This study exploits Progressive Growing of GANs (PGGANs), a multi-stage generative training method, to generate original-sized 256 X 256 MR images for Convolutional Neural Network-based brain tumor detection, which is challenging via conventional GANs; difficulties arise due to unstable GAN training with high resolution and a variety of tumors in size, location, shape, and contrast. Our preliminary results show that this novel PGGAN-based DA method can achieve promising performance improvement, when combined with classical DA, in tumor detection and also in other medical imaging tasks.

研究动机与目标

• 通过生成逼真的合成MR图像，解决脑肿瘤检测中标注医学影像数据稀缺的问题。
• 克服经典数据增强方法的局限性，后者生成的样本与原始图像分布相似，性能提升有限。
• 开发一种能够利用GAN生成高分辨率（256×256）、逼真且多样的脑部MR图像（包含清晰的肿瘤与非肿瘤特征）的方法。
• 通过实证评估与放射科医生评估，验证PGGAN生成图像在提升基于CNN的脑肿瘤检测性能方面的有效性。
• 通过视觉图灵测试与t-SNE可视化，探索合成图像的逼真度与诊断保真度。

提出的方法

• 利用渐进式增长生成对抗网络（PGGANs）训练生成器网络，从4×4逐步提升图像分辨率至256×256，从而稳定高分辨率脑部MR图像的训练过程。
• 在真实对比增强T1加权脑部MR图像数据集上训练GAN，使生成器学习合成与真实图像分布匹配的逼真图像。
• 采用双流判别器架构，在每个分辨率阶段区分真实与合成图像，提升训练稳定性与图像质量。
• 将PGGAN生成的合成图像与经典数据增强（几何变换与强度变换）结合，扩展训练集并提升模型泛化能力。
• 通过放射科专家执行的视觉图灵测试验证图像逼真度与肿瘤特征保真度，评估其区分真实与合成图像以及肿瘤与非肿瘤图像的能力。
• 利用t-SNE可视化分析真实图像、增强图像与合成图像的特征空间分布，评估类别可分性与分布对齐程度。

实验结果

研究问题

• RQ1 PGGAN能否生成高分辨率（256×256）的脑部MR图像，使其逼真且保留清晰的肿瘤与非肿瘤特征？
• RQ2 与仅使用经典数据增强相比，基于PGGAN的数据增强是否能提升基于CNN的脑肿瘤检测模型性能？
• RQ3 在视觉图灵测试中，专家放射科医生如何评估生成图像与真实医学图像的逼真度？
• RQ4 合成图像在多大程度上填补了原始数据或经典增强数据未覆盖的真实图像分布空白？
• RQ5 图像逼真度与特征保真度对肿瘤检测模型泛化能力与鲁棒性有何影响？

主要发现

• 与仅使用经典数据增强相比，基于PGGAN的数据增强方法在脑肿瘤检测测试准确率上提升了1.02%。
• 单独使用PGGAN生成的图像时，性能下降（特异性降至6.84%），因为分类器将合成伪影误判为肿瘤，表明其在独立使用时逼真度较差。
• 放射科医生在视觉图灵测试中正确分类了90.5%的肿瘤与非肿瘤图像，表明合成图像成功保留了肿瘤存在与否、组织对比度等关键诊断特征。
• 医生将18%的肿瘤图像误判为非肿瘤（其中13%为合成肿瘤图像），表明合成图像仍存在模糊或不真实的特征，影响诊断可靠性。
• t-SNE可视化显示，PGGAN生成的图像与真实图像形成独立聚类，且肿瘤与非肿瘤类别间重叠更高，表明类别可分性较差，可能存在分布偏移。
• 尽管逼真度存在局限，PGGAN生成图像与经典数据增强结合后，通过覆盖真实图像分布中此前未被覆盖的区域，提升了模型泛化能力。