[论文解读] Generating Highly Realistic Images of Skin Lesions with GANs

Christoph Baur, Shadi Albarqouni+1 more|arXiv (Cornell University)|Sep 5, 2018

Cutaneous Melanoma Detection and Management被引用 6

一句话总结

本文提出使用渐进式增长生成对抗网络（PGAN）生成256×256像素的高分辨率、高度逼真的皮肤病变皮肤镜图像，显著优于先前的DCGAN和LAPGAN等生成对抗网络。在视觉图灵测试中，皮肤科专家与深度学习专家无法可靠区分合成图像与真实图像，证明了该方法在医学图像生成领域达到了最先进水平的逼真度。

ABSTRACT

As many other machine learning driven medical image analysis tasks, skin image analysis suffers from a chronic lack of labeled data and skewed class distributions, which poses problems for the training of robust and well-generalizing models. The ability to synthesize realistic looking images of skin lesions could act as a reliever for the aforementioned problems. Generative Adversarial Networks (GANs) have been successfully used to synthesize realistically looking medical images, however limited to low resolution, whereas machine learning models for challenging tasks such as skin lesion segmentation or classification benefit from much higher resolution data. In this work, we successfully synthesize realistically looking images of skin lesions with GANs at such high resolution. Therefore, we utilize the concept of progressive growing, which we both quantitatively and qualitatively compare to other GAN architectures such as the DCGAN and the LAPGAN. Our results show that with the help of progressive growing, we can synthesize highly realistic dermoscopic images of skin lesions that even expert dermatologists find hard to distinguish from real ones.

研究动机与目标

• 解决皮肤病变图像分析中长期存在的标注数据有限和类别分布偏斜问题。
• 克服现有生成对抗网络仅能生成低分辨率医学图像的局限性。
• 生成高分辨率、逼真的皮肤镜图像，以提升皮肤病变分类与分割模型的训练数据质量。
• 通过专家皮肤科医生与深度学习专家参与的视觉图灵测试，评估合成图像的逼真度。
• 证明PGAN在高分辨率下优于DCGAN和LAPGAN，图像质量、清晰度与多样性更优。

提出的方法

• 在ISIC2018挑战赛数据集的皮肤镜图像上训练渐进式增长生成对抗网络（PGAN），以生成256×256像素的图像。
• 采用渐进式增长策略：从4×4逐步提升生成器与判别器的分辨率，直至256×256，以稳定训练过程。
• 通过弗雷歇 inception 距离（FID）和 inception 得分（IS）等定量指标，将PGAN与DCGAN和LAPGAN进行比较。
• 组织由3名皮肤科专家与5名深度学习专家参与的视觉图灵测试，以评估图像逼真度。
• 在向评分者展示图像前不进行任何预处理（如滤波），以确保评估无偏。
• 使用弗莱斯kappa系数分析评分者间的一致性，以评估其在区分真实与伪造图像方面的一致性。

实验结果

研究问题

• RQ1 PGAN能否生成足够逼真的256×256像素皮肤病变皮肤镜图像，以欺骗专业皮肤科医生？
• RQ2 在高分辨率下，PGAN相较于DCGAN和LAPGAN在图像质量、清晰度与伪影水平方面表现如何？
• RQ3 合成图像在多大程度上匹配真实皮肤病变图像的统计分布？
• RQ4 在盲测视觉图灵测试中，专业人类评分者能否可靠地区分真实与合成的皮肤镜图像？
• RQ5 PGAN生成图像的高逼真度是否暗示其在皮肤病变分类任务中具备有效数据增强的潜力？

主要发现

• PGAN生成的图像被评价为高度逼真，专家皮肤科医生与深度学习专家在视觉图灵测试中的分类准确率仅略高于随机水平（50%）。
• 评分者间的一致性极低（弗莱斯kappa接近0），表明其无法稳定地区分真实与伪造图像。
• PGAN在定量指标（FID、IS）与定性评估中均优于DCGAN与LAPGAN，展现出更高的清晰度、多样性与更少的伪影。
• 对潜在空间的可视化探索显示样本间过渡平滑，表明模型未记忆训练数据，而是学习到了有意义的流形结构。
• PGAN的FID得分显著低于DCGAN与LAPGAN，表明其生成图像与真实图像的分布更接近。
• 尽管逼真度极高，部分合成图像仍存在缺陷，特别是在模拟丝状结构方面，提示仍有改进空间。