[论文解读] Learning More with Less: GAN-based Medical Image Augmentation

Changhee Han, Kohei Murao+2 more|arXiv (Cornell University)|Mar 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 11

一句话总结

本文提出了一种基于生成对抗网络（GAN）的医学影像数据增强框架，以解决标注数据有限的问题，生成逼真且多样的合成图像，从而提升卷积神经网络（CNN）在分类、检测和分割任务中的性能。利用弱标注的边界框，该方法在保持临床可接受的假阳性率的同时，将脑转移灶检测的敏感性提高了10%，即使在标注噪声较大的情况下也表现出良好的鲁棒性。

ABSTRACT

Convolutional Neural Network (CNN)-based accurate prediction typically requires large-scale annotated training data. In Medical Imaging, however, both obtaining medical data and annotating them by expert physicians are challenging; to overcome this lack of data, Data Augmentation (DA) using Generative Adversarial Networks (GANs) is essential, since they can synthesize additional annotated training data to handle small and fragmented medical images from various scanners--those generated images, realistic but completely novel, can further fill the real image distribution uncovered by the original dataset. As a tutorial, this paper introduces GAN-based Medical Image Augmentation, along with tricks to boost classification/object detection/segmentation performance using them, based on our experience and related work. Moreover, we show our first GAN-based DA work using automatic bounding box annotation, for robust CNN-based brain metastases detection on 256 x 256 MR images; GAN-based DA can boost 10% sensitivity in diagnosis with a clinically acceptable number of additional False Positives, even with highly-rough and inconsistent bounding boxes.

研究动机与目标

• 解决深度学习模型训练中医学影像标注数据有限的挑战。
• 开发一种基于GAN的数据增强技术，生成逼真且多样的合成医学图像，以扩展训练数据。
• 在仅使用少量弱标注数据的前提下，提升医学图像分类、目标检测和分割任务的性能。
• 评估该方法在临床环境中常见的低质量边界框标注下的鲁棒性。
• 通过实现显著的敏感性提升并接受适度增加的假阳性，证明其临床可行性。

提出的方法

• 在小规模、碎片化的医学图像数据集上训练条件GAN，以生成逼真的合成图像。
• 通过弱标注或噪声较大的边界框标注对GAN进行条件控制，以引导生成特定区域的合成数据。
• 生成的合成图像在匹配真实数据分布的同时，引入新颖且逼真的变化。
• 将真实图像与合成图像组合形成的增强数据集用于微调CNN，以完成分类和检测等下游任务。
• 该方法利用循环一致性与对抗性训练，确保图像保真度和多样性。
• 在256×256的T1加权MR脑部图像上进行验证，数据包含脑转移灶，使用弱边界框标注。

实验结果

研究问题

• RQ1 基于GAN的数据增强是否能在标注数据有限的情况下显著提升CNN在医学图像分析中的性能？
• RQ2 当训练数据稀缺且标注存在噪声或不一致时，基于GAN的增强方法效果如何？
• RQ3 合成数据在不导致假阳性率大幅上升的前提下，能在多大程度上提升脑转移灶检测的敏感性？
• RQ4 在GAN训练过程中使用弱标注边界框是否仍能生成具有临床实用价值的合成数据？
• RQ5 生成的合成图像是否能有效填补原始数据集中未覆盖的真实数据分布空白？

主要发现

• 所提出的基于GAN的数据增强方法相比基线模型，使脑转移灶检测的敏感性提高了10%。
• 性能提升仅伴随着临床可接受的假阳性检测数量增加。
• 即使用于条件控制的边界框标注粗糙且不一致，该方法依然有效。
• GAN生成的合成图像逼真且多样化，有效扩展了原始小规模数据集的数据分布。
• 该方法对弱监督具有鲁棒性，适用于标注质量有限的真实临床数据。
• 结果表明，基于GAN的增强可显著降低医学影像人工智能中的数据效率障碍。