[论文解读] Generative Adversarial U-Net for Domain-free Medical Image Augmentation

Xiaocong Chen, Yun Li+3 more|arXiv (Cornell University)|Jan 12, 2021

Generative Adversarial Networks and Image Synthesis参考文献 41被引用 9

一句话总结

本文提出一种无需领域适应的生成对抗性U-Net（GAN-UNet）用于医学图像增强，可在不依赖领域特定调整的情况下，跨多种成像模态合成高质量、多样化的医学图像。通过将U-Net架构与条件GAN结合，并采用高斯噪声进行潜在空间条件控制，该模型生成的图像具有高度真实性，显著提升了在八个不同数据集上的下游分类性能，在FID和分类指标上均达到当前最优水平。

ABSTRACT

The shortage of annotated medical images is one of the biggest challenges in the field of medical image computing. Without a sufficient number of training samples, deep learning based models are very likely to suffer from over-fitting problem. The common solution is image manipulation such as image rotation, cropping, or resizing. Those methods can help relieve the over-fitting problem as more training samples are introduced. However, they do not really introduce new images with additional information and may lead to data leakage as the test set may contain similar samples which appear in the training set. To address this challenge, we propose to generate diverse images with generative adversarial network. In this paper, we develop a novel generative method named generative adversarial U-Net , which utilizes both generative adversarial network and U-Net. Different from existing approaches, our newly designed model is domain-free and generalizable to various medical images. Extensive experiments are conducted over eight diverse datasets including computed tomography (CT) scan, pathology, X-ray, etc. The visualization and quantitative results demonstrate the efficacy and good generalization of the proposed method on generating a wide array of high-quality medical images.

研究动机与目标

• 解决基于深度学习的医学图像分析中因标注数据有限带来的关键挑战。
• 克服传统数据增强方法（如旋转、裁剪）仅引入像素级变化且存在数据泄露风险的局限性。
• 开发一种可泛化的、无需领域适应的生成模型，能够跨CT、X光和病理学等多种成像模态生成高保真度的医学图像。
• 通过生成多样化、逼真的合成训练样本，提升下游分类器的鲁棒性与泛化能力。

提出的方法

• 提出一种新颖架构，将U-Net与条件GAN结合，其中生成器同时利用编码的潜在特征和随机高斯噪声进行图像生成。
• 设计判别器以区分真实图像对（x_i, x_j）与虚假图像对（x_i, x_g），其中x_g为生成图像，从而强制生成分布与真实分布保持一致。
• 采用梯度惩罚（λ = 10），配合Adam优化器（β₁ = 0, β₂ = 0.9）以稳定GAN训练并提升收敛性。
• 实施图像预处理，包括冠状面视图提取、图像缩放至256×256×3，并按患者级别进行数据划分（训练:验证:测试 = 7:1:2）。
• 联合训练生成器与判别器，利用对抗性损失，使生成器最小化真实图像与生成图像之间的分布差距。
• 采用Fréchet Inception Distance（FID）评估图像质量，Per-pixel Accuracy（PA）评估可区分性，并使用ResNet-18、ResNet-50、DenseNet-161和SVM作为下游分类器进行评估。

实验结果

研究问题

• RQ1 单一生成模型是否能在无需领域特定微调的情况下，跨多种成像模态生成高质量、多样化的医学图像？
• RQ2 所提出的GAN-UNet架构是否在生成逼真医学图像方面优于标准GAN和条件GAN？
• RQ3 该模型生成的合成数据在多大程度上提升了下游分类模型的性能？
• RQ4 该模型在CT、X光和超声等不同医学成像领域中的稳定性与泛化能力如何？

主要发现

• 所提出的GAN-UNet在全部八个数据集上均达到最低的Fréchet Inception Distance（FID），表明其生成图像质量显著优于原始GAN和条件GAN基线模型。
• 在全部八个数据集中，使用生成图像后，所有四种分类器（ResNet-18、ResNet-50、DenseNet-161、SVM）的分类准确率、精确率、召回率和AUC均显著提升。
• 图2的可视化结果表明，与GAN或条件GAN生成的图像相比，本方法生成的图像在解剖结构和纹理保留方面更接近真实医学图像。
• 该模型展现出强大的泛化能力，无需微调或领域适应即可为肺部CT、胸部X光和乳腺超声等多种模态生成高保真图像。
• 该方法在图像生成质量（FID）和下游分类性能方面均达到当前最优水平，证实了其有效性与鲁棒性。