[论文解读] DermGAN: Synthetic Generation of Clinical Skin Images with Pathology

Amirata Ghorbani, Vivek Natarajan+2 more|arXiv (Cornell University)|Nov 20, 2019

AI in cancer detection参考文献 43被引用 44

一句话总结

DermGAN 将 Pix2Pix 应用于合成临床皮肤图像，具备可控的皮肤状况、大小、位置和肤色；通过 GAN 指标和人工测试进行验证；用合成图像进行扩增可提升分类器在罕见恶性皮肤病变上的表现。

ABSTRACT

Despite the recent success in applying supervised deep learning to medical imaging tasks, the problem of obtaining large and diverse expert-annotated datasets required for the development of high performant models remains particularly challenging. In this work, we explore the possibility of using Generative Adverserial Networks (GAN) to synthesize clinical images with skin condition. We propose DermGAN, an adaptation of the popular Pix2Pix architecture, to create synthetic images for a pre-specified skin condition while being able to vary its size, location and the underlying skin color. We demonstrate that the generated images are of high fidelity using objective GAN evaluation metrics. In a Human Turing test, we note that the synthetic images are not only visually similar to real images, but also embody the respective skin condition in dermatologists' eyes. Finally, when using the synthetic images as a data augmentation technique for training a skin condition classifier, we observe that the model performs comparably to the baseline model overall while improving on rare but malignant conditions.

研究动机与目标

• 促使医学皮肤影像数据中的数据稀缺性和不平衡，特别是针对罕见的恶性病变。
• 提出一种生成框架，以合成具有指定病理、大小、位置和肤色的临床皮肤图像。
• 通过客观的 GAN 指标和人工评估来展示生成质量。
• 展示合成图像作为皮肤病变分类的数据增强的实用性，重点关注罕见类别。

提出的方法

• 将 Pix2Pix 风格的条件GAN 适配到带有编码肤色、病变存在与 ROI 位置的语义映射的医学皮肤图像。
• 修改生成器（带调整大小的 U-Net 以减少棋盘伪影）和一个全卷积判别器。
• 使用四种损失项进行训练：图像重建损失、条件特定 ROI 重建损失、min-max GAN 损失，以及特征匹配损失。
• 通过网格搜索进行超参数调优，以平衡各损失分量。
• 通过裁剪标注 ROI 周围区域来预处理数据集，创建 256x256 的训练图像，以及用于训练的 40000 张、用于评估的 24000 张图像。

实验结果

研究问题

• RQ1 条件GAN 是否能够从指定病理、肤色和 ROI 的语义映射生成真实的临床皮肤图像？
• RQ2 肤色和病变大小的变化如何影响生成图像的保真度和皮肤科临床真实感？
• RQ3 将合成图像用作数据增强时，是否提升皮肤病变分类，尤其是罕见恶性类别？
• RQ4 哪些客观与主观指标最能反映生成图像的真实感和临床相关性？

主要发现

• DermGAN 能够生成高保真度的合成图像，且可基于肤色、病变类型和 ROI 尺寸/位置进行条件控制。
• 在语义映射中改变肤色会使背景外观与现实世界观察结果一致地变化。
• 在语义映射中增大病变大小会在生成的皮肤区域产生相应的视觉变化。
• 使用完整的 DermGAN 模型相较于消融模型时，客观 GAN 指标（FID）有所提升；基线表现出更差的 FID 分数。
• 人工图灵测试表明合成图像在多数情况下难以与真实图像区分，皮肤科医生感知到合成图像中的临床内容正确。
• 在皮肤病变分类的数据增强中，使用20000张合成图像的总体准确性与基线相当，但在罕见恶性类别（黑色素瘤 Melanoma）和基底细胞癌（Basal Cell Carcinoma）的 F1 得分有所提升，代价是在色素性痣（Melanocytic nevus）上的表现有所下降。