[论文解读] Learning More with Less: Conditional PGGAN-based Data Augmentation for Brain Metastases Detection Using Highly-Rough Annotation on MR Images

Changhee Han, Kohei Murao+6 more|arXiv (Cornell University)|Feb 26, 2019

AI in cancer detection参考文献 37被引用 80

一句话总结

本文提出了一种新型数据增强方法——条件渐进式生成对抗网络（CPGGANs），仅使用高度粗糙的边界框标注，即可生成具有所需位置和大小的、逼真且多样的256×256脑部MR图像。通过逐步将这些粗略标签引入PGGANs，该方法在未使用额外正常脑部图像的情况下，将肿瘤检测的敏感度提升了10%，同时保持临床可接受的假阳性率。

ABSTRACT

Accurate Computer-Assisted Diagnosis, associated with proper data wrangling, can alleviate the risk of overlooking the diagnosis in a clinical environment. Towards this, as a Data Augmentation (DA) technique, Generative Adversarial Networks (GANs) can synthesize additional training data to handle the small/fragmented medical imaging datasets collected from various scanners; those images are realistic but completely different from the original ones, filling the data lack in the real image distribution. However, we cannot easily use them to locate disease areas, considering expert physicians' expensive annotation cost. Therefore, this paper proposes Conditional Progressive Growing of GANs (CPGGANs), incorporating highly-rough bounding box conditions incrementally into PGGANs to place brain metastases at desired positions/sizes on 256 X 256 Magnetic Resonance (MR) images, for Convolutional Neural Network-based tumor detection; this first GAN-based medical DA using automatic bounding box annotation improves the training robustness. The results show that CPGGAN-based DA can boost 10% sensitivity in diagnosis with clinically acceptable additional False Positives. Surprisingly, further tumor realism, achieved with additional normal brain MR images for CPGGAN training, does not contribute to detection performance, while even three physicians cannot accurately distinguish them from the real ones in Visual Turing Test.

研究动机与目标

• 解决脑转移瘤检测中医学影像数据集有限且碎片化、标注稀疏且不一致的挑战。
• 开发一种无需精确分割或良性图像输入即可生成逼真、多样的病理MR图像的数据增强方法。
• 仅使用粗略边界框标注即可实现高敏感度的肿瘤检测，最大限度减少专家标注负担。
• 评估增强的合成图像中肿瘤的真实感是否能提升下游检测性能。

提出的方法

• CPGGANs通过在训练过程中逐步向生成器注入高度粗糙的边界框条件，扩展了渐进式生成对抗网络（PGGANs），以控制肿瘤的位置和大小。
• 该方法基于边界框掩码而非完整分割图对GAN进行条件控制，从而生成具有目标位置肿瘤的全脑MR图像。
• 采用条件噪声注入技术，引入肿瘤形状和外观的多样性，同时保持解剖学上的合理性。
• 生成器被训练以生成与真实图像在视觉上无法区分的256×256 MR图像，该结果经由放射科专家参与的视觉图灵测试验证。
• 使用T-SNE可视化比较真实与合成肿瘤图像块的分布，评估数据多样性与分布对齐程度。
• YOLOv3被用作目标检测器，在真实与合成图像组合数据上进行训练，以评估检测性能。

实验结果

研究问题

• RQ1 如何修改PGGANs，使其仅使用高度粗糙的边界框掩码，即可自然地将随机形状的肿瘤放置在目标位置/大小？
• RQ2 基于GAN的数据增强方法若使用粗略标注，是否能在不过度增加假阳性率的前提下提升检测敏感度？
• RQ3 当专家评价认为生成的肿瘤更具真实感时，是否能带来更好的检测性能？
• RQ4 在CPGGAN训练过程中引入额外的正常脑部MR图像，会对真实感和检测性能产生何种影响？

主要发现

• 基于CPGGAN的数据增强使肿瘤检测敏感度相比仅使用真实数据训练的基线模型提升了10%。
• 该方法在临床可接受的假阳性率增加下实现性能提升，证明其在临床环境中的实际应用价值。
• 尽管在额外加入正常脑部MR图像训练后，肿瘤外观的真实感更高，但检测性能未进一步提升，表明真实感本身并不能直接增强检测能力。
• 三位放射科专家在视觉图灵测试中无法可靠区分使用正常脑部图像训练的CPGGAN生成的肿瘤边界框与真实图像，证实其具备高度真实感。
• T-SNE可视化显示，合成肿瘤图像块的分布与真实图像具有中等程度的相似性与互补性，支持了有效数据增强。
• 过度依赖合成数据会导致性能下降，表明在真实与合成数据之间保持适度平衡对实现稳健训练至关重要。