[论文解读] GAN-based generative modelling for dermatological applications -- comparative study

Sandra Carrasco Limeros, Sylwia Majchrowska+5 more|arXiv (Cornell University)|Aug 24, 2022

AI in cancer detection被引用 6

一句话总结

本研究评估了条件与非条件生成对抗网络（GAN）——特别是StyleGAN2-ADA——在集中式与联邦（去中心化）设置下生成合成皮肤科图像的性能，使用的是ISIC 2020皮肤病变数据集。结果表明，联邦GAN训练在图像质量和多样性方面与集中式训练相当，且收敛速度更快；潜在空间分析进一步证实了生成样本的真实性与泛化能力。

ABSTRACT

The lack of sufficiently large open medical databases is one of the biggest challenges in AI-powered healthcare. Synthetic data created using Generative Adversarial Networks (GANs) appears to be a good solution to mitigate the issues with privacy policies. The other type of cure is decentralized protocol across multiple medical institutions without exchanging local data samples. In this paper, we explored unconditional and conditional GANs in centralized and decentralized settings. The centralized setting imitates studies on large but highly unbalanced skin lesion dataset, while the decentralized one simulates a more realistic hospital scenario with three institutions. We evaluated models' performance in terms of fidelity, diversity, speed of training, and predictive ability of classifiers trained on the generated synthetic data. In addition we provided explainability through exploration of latent space and embeddings projection focused both on global and local explanations. Calculated distance between real images and their projections in the latent space proved the authenticity and generalization of trained GANs, which is one of the main concerns in this type of applications. The open source code for conducted studies is publicly available at \url{https://github.com/aidotse/stylegan2-ada-pytorch}.

研究动机与目标

• 为解决皮肤科医学影像数据集受限、不平衡且受隐私限制的问题，通过GAN生成合成皮肤病变图像。
• 评估非条件与条件GAN在集中式与联邦学习设置下的皮肤科图像生成性能。
• 评估合成数据在下游分类任务中的保真度、多样性与实用性，尤其关注边缘案例。
• 通过潜在空间分析与投影度量，探究生成图像的真实性与泛化能力。
• 探究数据采集伪影（如皮肤镜框架）对模型泛化能力与分类器偏差的影响。

提出的方法

• 在ISIC 2020数据集上，使用自适应判别器增强（ADA）训练StyleGAN2-ADA，实现非条件与条件图像生成。
• 构建联邦学习设置，模拟三家医院的非独立同分布（non-IID）数据分布，本地训练GAN并聚合模型权重，不共享原始数据。
• 采用潜在空间投影与距离度量（如真实图像与生成图像投影之间的L2距离）评估生成图像的真实性与泛化能力。
• 通过潜在方向编辑与类别条件嵌入，开展全局与局部可解释性分析，评估特征纠缠与偏差情况。
• 在真实与合成数据上训练下游分类器，评估预测性能与数据实用性。
• 综合评估模型在保真度、多样性、训练速度与分类器准确率方面的表现，尤其关注边缘案例。

实验结果

研究问题

• RQ1 在皮肤科影像中，基于GAN的合成数据生成在集中式与联邦学习设置下的性能表现如何比较？
• RQ2 生成的合成图像在多大程度上保留了真实皮肤病变数据的保真度与多样性，特别是对罕见或模糊（边缘）病例？
• RQ3 潜在空间分析能否证实合成图像的真实性与泛化能力？真实与合成图像在潜在空间中的投影如何比较？
• RQ4 数据采集伪影（如皮肤镜框架）如何影响模型泛化能力与分类器偏差？
• RQ5 合成数据对下游分类性能有何影响？是否引入了与采集协议相关的非预期关联？

主要发现

• 联邦GAN训练在图像质量与多样性方面与集中式训练相当，且收敛速度显著更快，适用于规模较小的机构。
• 潜在空间分析显示，真实图像与生成图像投影之间存在明显分离，测量距离证实了合成样本的真实性与泛化能力。
• 在合成数据上训练的下游分类器性能与仅使用真实数据相比提升微弱，表明真实数据集本身已足够大且具代表性。
• 皮肤镜框架的存在与恶性黑色素瘤类别标签存在纠缠，在潜在空间编辑过程中导致非预期的特征变化，损害了数据完整性。
• 可解释性分析表明，分类器预测常受采集协议与患者特异性特征（尤其是痣的面积覆盖范围）的影响，存在偏差。
• 基于GAN的合成数据生成在隐私保护方面具有强保障，适用于数据增强与匿名化，但需仔细检查以避免引入伪影或偏差。