[论文解读] MelanoGANs: High Resolution Skin Lesion Synthesis with GANs

Christoph Baur, Shadi Albarqouni+1 more|arXiv (Cornell University)|Apr 12, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 44

一句话总结

本文比较了 DCGAN、LAPGAN 以及新型 DDGAN 变体，使用来自较小的 ISIC 2017 数据集的 256x256 皮肤病变图像进行合成，并展示了利用合成的高分辨率样本来解决皮肤病变分类中的类别不平衡。

ABSTRACT

Generative Adversarial Networks (GANs) have been successfully used to synthesize realistically looking images of faces, scenery and even medical images. Unfortunately, they usually require large training datasets, which are often scarce in the medical field, and to the best of our knowledge GANs have been only applied for medical image synthesis at fairly low resolution. However, many state-of-the-art machine learning models operate on high resolution data as such data carries indispensable, valuable information. In this work, we try to generate realistically looking high resolution images of skin lesions with GANs, using only a small training dataset of 2000 samples. The nature of the data allows us to do a direct comparison between the image statistics of the generated samples and the real dataset. We both quantitatively and qualitatively compare state-of-the-art GAN architectures such as DCGAN and LAPGAN against a modification of the latter for the task of image generation at a resolution of 256x256px. Our investigation shows that we can approximate the real data distribution with all of the models, but we notice major differences when visually rating sample realism, diversity and artifacts. In a set of use-case experiments on skin lesion classification, we further show that we can successfully tackle the problem of heavy class imbalance with the help of synthesized high resolution melanoma samples.

研究动机与目标

• 在医学成像中利用小数据集通过 GAN 进行高分辨率皮肤病变合成的动机。
• 比较 DCGAN、LAPGAN，以及提出的 DDGAN 架构在 256x256 皮肤病变合成中的表现。
• 评估合成的高分辨率病变如何影响不平衡数据下分类器的性能。
• 评估学习到的上采样和不同判别策略是否影响样本的真实感和多样性。

提出的方法

• 实现 DCGAN、LAPGAN 和 DDGAN 变体，以从噪声生成 256x256 的皮肤病变图像。
• DDGAN 使用单一噪声源和带有多层判别器的图像判别以实现端到端训练。
• DDGAN 变体包括上采样（通过非参数上采样学习得到）和基于反卷积的上采样。
• LAPGAN 依赖于多个噪声源以及金字塔层级的残差判别。
• 评估采用基于直方图的分布相似性（JS 散度、Wasserstein Distance）和定性视觉评估。

实验结果

研究问题

• RQ1 是否能在跨 GAN 架构的情况下，从小数据集现实地合成高分辨率（256x256）的皮肤病变图像？
• RQ2 在生成病变的分布相似性、多样性、清晰度和伪影方面，DCGAN、LAPGAN 与 DDGAN 的比较如何？
• RQ3 合成的高分辨率黑色素瘤样本是否有助于缓解皮肤病变分类中的严重类别不平衡？
• RQ4 在此任务中，DDGAN 的基于反卷积的学习上采样是否优于标准上采样？

主要发现

• 所有模型都近似真实数据分布；然而，视觉真实感、多样性和伪影模式在不同模型之间存在差异。
• DCGAN 最匹配强度分布，但显示棋盘伪影且多样性较低。
• LAPGAN 产生高样本多样性，但引入高频伪影。
• DDGAN 结合图像判别（上采样）在与实际分布的吻合度方面接近，且高频伪影比 LAPGAN 少，并且比 LAPGAN 更易训练。
• 在实际分类中，来自 LAPGAN 和 DDGAN 变体的合成黑色素瘤样本在类别不平衡下提升了性能，有时甚至超过使用全部真实数据训练的模型。