[论文解读] Data Augmentation For Medical MR Image Using Generative Adversarial Networks

Panjian Huang, Xu Liu+1 more|arXiv (Cornell University)|Nov 29, 2021

Advanced Image Processing Techniques参考文献 27被引用 8

一句话总结

该论文提出 PGGAN-SSIM，一种结合结构相似性损失函数的生成对抗网络，用于生成高质量、多样化的 256×256 脑肿瘤 MRI 图像，以实现数据增强。通过提升训练稳定性并减少模式崩溃，PGGAN-SSIM 在 FID（33.266）和 MS-SSIM（0.6617）方面达到当前最优性能，优于基线 GAN 模型和真实数据，在样本多样性方面表现更优。

ABSTRACT

Computer-assisted diagnosis (CAD) based on deep learning has become a crucial diagnostic technology in the medical industry, effectively improving diagnosis accuracy. However, the scarcity of brain tumor Magnetic Resonance (MR) image datasets causes the low performance of deep learning algorithms. The distribution of transformed images generated by traditional data augmentation (DA) intrinsically resembles the original ones, resulting in a limited performance in terms of generalization ability. This work improves Progressive Growing of GANs with a structural similarity loss function (PGGAN-SSIM) to solve image blurriness problems and model collapse. We also explore other GAN-based data augmentation to demonstrate the effectiveness of the proposed model. Our results show that PGGAN-SSIM successfully generates 256x256 realistic brain tumor MR images which fill the real image distribution uncovered by the original dataset. Furthermore, PGGAN-SSIM exceeds other GAN-based methods, achieving promising performance improvement in Frechet Inception Distance (FID) and Multi-scale Structural Similarity (MS-SSIM).

研究动机与目标

• 为解决基于深度学习的医学诊断中脑肿瘤 MRI 数据集有限且多样性不足的挑战。
• 通过基于 GAN 的数据增强方法，提升合成 256×256 脑肿瘤 MRI 图像的质量与多样性。
• 缓解在小规模医学数据集上训练 GAN 时出现的模式崩溃与图像模糊问题。
• 评估结构相似性（SSIM）损失在提升生成 MRI 样本真实感与多样性方面的有效性。

提出的方法

• 将渐进式增长 GAN（PGGAN）方法适配至 BRATS 2019 数据集中 256×256 FLAIR 脑 MRI 切片的训练。
• 在生成器损失中引入结构相似性（SSIM）损失函数，以提升感知质量并减少模糊。
• 将梯度惩罚与 GAN 训练过程结合，以稳定训练并防止模式崩溃。
• 采用 512 维潜在向量大小，作为多样性与重建保真度之间的最佳平衡。
• 在 8×3090 GPU 上训练 12,000 次迭代，批量大小为 32，使用 Adam 优化器（初始学习率=0.001）。
• 分别基于 10,000 对和 2,000 对样本对，使用 FID 和 MS-SSIM 指标评估性能。

实验结果

研究问题

• RQ1 PGGAN 搭载 SSIM 损失是否能生成比基线 GAN 更真实、更多样化的 256×256 脑肿瘤 MRI 图像？
• RQ2 SSIM 损失的引入如何影响基于 GAN 的医学图像生成中的模式崩溃与图像模糊问题？
• RQ3 使用 PGGAN-SSIM 生成高保真脑肿瘤 MRI 时，最优的潜在向量大小（z）是多少？
• RQ4 PGGAN-SSIM 是否在 MS-SSIM 上优于真实数据，表明其样本多样性更优？
• RQ5 基于 PGGAN-SSIM 的 GAN 数据增强是否能提升下游医学图像检测任务的性能？

主要发现

• PGGAN-SSIM 在所有模型中取得了最低的 Frechet Inception Distance（FID）分数 33.266，表明生成图像具有高度的真实性。
• PGGAN-SSIM 的 MS-SSIM 分数（0.6617）略高于真实数据（0.6627），表明其样本多样性更优。
• 采用 512 维潜在向量（z512）的 PGGAN 模型取得了最佳 FID（32.272），优于更大向量（z1024）。
• α-GAN-GP 显示出严重模糊与多样性不足，表现为 FID 较高（127.15）与 MS-SSIM 较低（0.7206），性能有限。
• 尽管 FID 略有上升，SSIM 损失的引入仍提升了 MS-SSIM 并减少了模式崩溃，证实其在数据增强中的优势。
• PGGAN-SSIM 有效生成了逼真、高分辨率的脑肿瘤 MRI 图像，填补了原始数据集的分布空白。