[论文解读] Conditional Infilling GANs for Data Augmentation in Mammogram Classification

Eric Hsiao‐Kuang Wu, Kevin Wu+2 more|arXiv (Cornell University)|Jul 21, 2018

AI in cancer detection参考文献 21被引用 16

一句话总结

该论文提出条件填充生成对抗网络（ciGAN），用于生成具有病灶的逼真合成乳腺X线片图像块，以提升乳腺癌分类的数据增强效果。通过结合病灶掩码和类别标签进行条件控制，ciGAN能够合成高分辨率、上下文合理的病灶，使ResNet-50的AUC性能相比基线模型提升0.014，相比传统增强方法提升0.009。

ABSTRACT

Deep learning approaches to breast cancer detection in mammograms have recently shown promising results. However, such models are constrained by the limited size of publicly available mammography datasets, in large part due to privacy concerns and the high cost of generating expert annotations. Limited dataset size is further exacerbated by substantial class imbalance since "normal" images dramatically outnumber those with findings. Given the rapid progress of generative models in synthesizing realistic images, and the known effectiveness of simple data augmentation techniques (e.g. horizontal flipping), we ask if it is possible to synthetically augment mammogram datasets using generative adversarial networks (GANs). We train a class-conditional GAN to perform contextual in-filling, which we then use to synthesize lesions onto healthy screening mammograms. First, we show that GANs are capable of generating high-resolution synthetic mammogram patches. Next, we experimentally evaluate using the augmented dataset to improve breast cancer classification performance. We observe that a ResNet-50 classifier trained with GAN-augmented training data produces a higher AUROC compared to the same model trained only on traditionally augmented data, demonstrating the potential of our approach.

研究动机与目标

• 为解决乳腺X线片分类中数据稀缺与类别不平衡的问题，这些问题限制了深度学习模型的性能。
• 探究基于GAN的数据增强是否能在医学影像中超越传统增强技术。
• 开发一种稳定且高分辨率的生成对抗网络，通过在正常乳腺X线片中填充掩码区域来生成逼真的病灶。
• 评估使用ResNet-50分类器进行下游分类任务时，GAN增强数据的影响。
• 证明在条件生成中引入病灶掩码和类别标签可提升生成质量与下游任务的准确率。

提出的方法

• 采用多尺度、条件生成对抗网络架构（ciGAN），其中生成器在受损的乳腺X线片图像块中填充病灶区域。
• 生成器的输入包括：被破坏的图像（病灶区域被噪声替代）、病灶掩码，以及一个两通道的类别标签（恶性或非恶性）。
• 生成器采用级联细化网络结构，结合上采样与跳跃连接，以提升高分辨率生成的稳定性。
• 训练采用对抗损失、特征损失（感知相似性）和边界损失（以保持病灶掩码边缘）的组合，权重分别为1.0、10.0和10,000.0。
• 使用Adam优化器，先在特征损失上预训练10,000轮，再与判别器联合训练100,000轮。
• 数据增强通过生成合成病灶实现：对于每个非恶性图像块，使用另一张恶性图像的掩码生成恶性病灶；反之亦然。

实验结果

研究问题

• RQ1 条件填充生成对抗网络能否生成高分辨率、逼真的合成乳腺X线片图像块，且病灶具有临床合理性？
• RQ2 与传统增强方法相比，基于GAN的数据增强是否能提升ResNet-50分类器在乳腺X线片乳腺癌检测中的性能？
• RQ3 在条件生成对抗网络架构中引入病灶掩码和类别标签，如何影响生成质量与下游分类性能？
• RQ4 ciGAN能否有效解决医学图像生成对抗网络中常见的训练不稳定与分辨率限制问题？
• RQ5 所提出的增强策略是否能通过生成逼真的少数类样本，缓解乳腺X线片数据集中的类别不平衡问题？

主要发现

• ciGAN成功生成了256x256高分辨率的合成乳腺X线片图像块，其病灶形态逼真且与上下文高度一致。
• 在ciGAN增强数据上训练的ResNet-50分类器AUC达到0.896，相比无增强的基线模型提升0.014 AUC（p < 0.01）。
• ciGAN增强模型相比仅使用传统数据增强的模型，AUC提升0.009（p < 0.05），表明高级生成技术带来增量性能增益。
• 模型共生成8,648个合成恶性图像块和1,832个合成非恶性图像块，有效将训练集规模翻倍，同时保持类别平衡。
• 边界损失与特征损失的使用显著提升了生成病灶的清晰度与解剖合理性，尤其在病灶边界区域表现更优。
• 通过逐步提高真实数据比例（从50%增至90%）的训练策略，有效防止了过拟合，并提升了后期训练阶段的泛化能力。