[论文解读] Diffusion-based Data Augmentation for Skin Disease Classification: Impact Across Original Medical Datasets to Fully Synthetic Images

Mohamed Akrout, Bálint Gyepesi+10 more|arXiv (Cornell University)|Jan 12, 2023

Cutaneous Melanoma Detection and Management被引用 5

一句话总结

本文提出了一种基于扩散模型的数据增强方法，用于皮肤疾病分类，利用文本条件稳定的扩散模型生成高保真度的合成皮肤图像。结果表明，仅使用完全合成数据集进行训练的分类器在性能上仅出现轻微下降，准确率与使用真实数据训练的模型相当，验证了合成数据作为保护隐私的医疗人工智能可行替代方案的潜力。

ABSTRACT

Despite continued advancement in recent years, deep neural networks still rely on large amounts of training data to avoid overfitting. However, labeled training data for real-world applications such as healthcare is limited and difficult to access given longstanding privacy, and strict data sharing policies. By manipulating image datasets in the pixel or feature space, existing data augmentation techniques represent one of the effective ways to improve the quantity and diversity of training data. Here, we look to advance augmentation techniques by building upon the emerging success of text-to-image diffusion probabilistic models in augmenting the training samples of our macroscopic skin disease dataset. We do so by enabling fine-grained control of the image generation process via input text prompts. We demonstrate that this generative data augmentation approach successfully maintains a similar classification accuracy of the visual classifier even when trained on a fully synthetic skin disease dataset. Similar to recent applications of generative models, our study suggests that diffusion models are indeed effective in generating high-quality skin images that do not sacrifice the classifier performance, and can improve the augmentation of training datasets after curation.

研究动机与目标

• 通过利用生成模型进行数据增强，解决皮肤科领域标注数据有限的挑战。
• 通过实现无需泄露患者隐私的合成数据生成，克服医疗领域中的隐私和数据共享障碍。
• 评估在完全合成的皮肤疾病图像上训练的分类器是否能与在真实数据上训练的模型性能相当。
• 开发一个闭环流程，结合领域专业知识和模型反馈，对合成图像进行筛选与优化。
• 研究文本条件扩散模型对提升皮肤疾病分类中分类器鲁棒性与多样性的效果。

提出的方法

• 使用文本反转微调稳定扩散模型，学习六种皮肤疾病（基底细胞癌、黑色素瘤、日光性角化病、不典型黑色素细胞痣、雀斑和脂溢性角化病）的类别特定嵌入。
• 通过文本提示（如“黑色素瘤”）对图像生成进行条件控制，在潜在空间中生成多样化且高保真度的合成皮肤图像。
• 构建三个训练数据集：真实小样本（250张图像）、真实数据集（500张图像）、混合数据集（250张真实 + 250张合成图像）以及完全合成数据集（500张合成图像）。
• 使用基于验证损失早停策略的Swin-Transformer、EfficientNetV2和RegNetZ架构训练集成分类器。
• 通过每组数据集计算的通道级均值与标准差对输入图像进行归一化，以实现一致的预处理。
• 使用包含3,582张真实图像的保留测试集评估推理性能，采用top-k准确率（top-1至top-5）进行评估。

Figure 1 : Synthetic melanoma images generated by the stable diffusion model after fine-tuning it with melanoma images using the input text prompt “melanoma”.

实验结果

研究问题

• RQ1 文本条件扩散模型能否生成在视觉上逼真且适合用于训练深度学习分类器的合成皮肤疾病图像？
• RQ2 在完全合成数据上训练的分类器与在真实数据上训练的分类器在皮肤疾病分类中的性能表现如何比较？
• RQ3 与仅使用有限真实数据训练相比，引入合成数据能在多大程度上提升分类准确率？
• RQ4 在真实数据稀缺的情况下，使用合成数据是否能减少过拟合并提升泛化能力？
• RQ5 生成的合成图像是否能被有效筛选并用于闭环流程，以增强数据集的多样性和质量？

主要发现

• 在完全合成数据集上训练的分类器达到top-1准确率为47.29%，仅比真实数据集上的54.05%略低。
• 完全合成数据集的top-5准确率为96.85%，与真实数据集的96.96%非常接近，表明其具备强大的泛化能力。
• 即使仅使用250张真实图像（真实小样本），top-1准确率也达到53.41%，表明合成数据能有效弥补数据稀缺问题。
• 混合数据集（50%真实 + 50%合成）的top-1准确率为54.13%，略高于仅使用真实数据的基线模型（54.05%）。
• 完全合成数据集在训练过程中实现了更快的收敛速度，可能归因于非感知性差异特征改善了优化动态。
• 临床专家确认，合成图像在视觉上合理且具有临床相关性，支持其在真实世界医疗人工智能应用中的使用。

Figure 3 : Summary of the four steps of the generation pipeline for skin disease data augmentation.