[论文解读] Data Augmentation for Skin Lesion using Self-Attention based Progressive Generative Adversarial Network

Ibrahim Saad Ali, Mamdouh Mohamed+1 more|arXiv (Cornell University)|Oct 25, 2019

Cutaneous Melanoma Detection and Management参考文献 31被引用 8

一句话总结

该论文提出了一种自注意力增强的渐进式生成对抗网络（APGAN+TTUR），用于生成高分辨率、具有临床意义的合成皮肤病变图像，以解决皮肤癌分类中的数据不平衡问题。通过引入自注意力机制以建模长距离依赖关系，并采用TTUR提升训练稳定性，该方法在仅使用真实数据的基础上将分类准确率提高了2.8%，在标准数据增强基础上提高了1.4%。

ABSTRACT

Deep Neural Networks (DNNs) show a significant impact on medical imaging. One significant problem with adopting DNNs for skin cancer classification is that the class frequencies in the existing datasets are imbalanced. This problem hinders the training of robust and well-generalizing models. Data Augmentation addresses this by using existing data more effectively. However, standard data augmentation implementations are manually designed and produce only limited reasonably alternative data. Instead, Generative Adversarial Networks (GANs) is utilized to generate a much broader set of augmentations. This paper proposes a novel enhancement for the progressive generative adversarial networks (PGAN) using self-attention mechanism. Self-attention mechanism is used to directly model the long-range dependencies in the feature maps. Accordingly, self-attention complements PGAN to generate fine-grained samples that comprise clinically-meaningful information. Moreover, the stabilization technique was applied to the enhanced generative model. To train the generative models, ISIC 2018 skin lesion challenge dataset was used to synthesize highly realistic skin lesion samples for boosting further the classification result. We achieve an accuracy of 70.1% which is 2.8% better than the non-augmented one of 67.3%.

研究动机与目标

• 解决皮肤病变数据集中类别不平衡问题，该问题阻碍了深度学习模型的稳健训练。
• 克服人工数据增强的局限性，后者仅应用一组预定义的变换。
• 提升合成皮肤病变图像的质量与多样性，以实现有效的数据增强。
• 通过先进的训练技术，提升高分辨率（256×256）下生成模型的稳定性和真实性。
• 证明生成对抗网络生成的样本可包含具有临床意义的特征，从而提升下游分类性能。

提出的方法

• 在渐进式生成对抗网络（PGAN）中引入自注意力机制，以建模特征图中的长距离依赖关系，从而提升细粒度细节的生成质量。
• 采用双时间更新规则（TTUR），使用不平衡的学习率（判别器：0.004，生成器：0.001），以提升高分辨率训练的稳定性。
• 在ISIC 2018数据集上训练APGAN+TTUR模型，生成每类1,000张合成图像用于数据增强。
• 使用表现最佳的生成对抗网络模型（APGAN+TTUR）将每类1,000张合成图像与标准增强方法结合，用于训练集增强。
• 在增强后的数据上微调ResNet-18模型，并使用GAN-train和GAN-test指标评估生成器质量与泛化能力。
• 在包含501张图像的验证集上评估分类准确率，以比较仅使用真实数据、标准增强和GAN增强训练的性能。

Figure 1 : Real Images and APGAN+TTUR samples of ISIC 2018 dataset. Nevus(NV), Dermatofibroma(DF), Melanoma(MEL), Pigmented Bowen’s(AKIEC), Pigmented Benign keratoses(BKL), Basal cell carcinoma(BCC), and Vascular(VASC).

实验结果

研究问题

• RQ1 在渐进式生成对抗网络框架中，自注意力机制是否能提升生成皮肤病变图像的感知质量与临床相关性？
• RQ2 TTUR的引入是否显著提升了高分辨率皮肤病变生成训练中的稳定性并减少了伪影？
• RQ3 与仅使用真实数据或标准增强数据相比，GAN生成的合成样本在多大程度上提升了分类准确率？
• RQ4 这些合成样本是否包含有助于提升模型泛化能力的临床有意义特征？
• RQ5 在图像保真度与下游分类准确率方面，APGAN+TTUR相较于基线生成对抗网络（PGAN、APGAN）的表现如何？

主要发现

• APGAN+TTUR模型在ISIC 2018数据集上的验证准确率达到70.1%，相比仅使用真实数据的基线准确率67.3%提升了2.8%。
• APGAN+TTUR优于标准数据增强方法（准确率68.7%），表明GAN生成样本提供了更高的信息增益。
• APGAN+TTUR的GAN-train得分为69.5，GAN-test得分为60.0，表明生成器性能强且泛化能力良好。
• 观察到部分伪影（如黑色素瘤样本中的亮斑），但这些模式在真实训练数据中也存在，表明其反映了真实的临床变异。
• APGAN+TTUR在分类准确率上优于PGAN（67.1%）和APGAN（67.7%），证实了自注意力机制与TTUR的协同优势。
• 结果表明，GAN生成的样本包含具有临床意义的特征，这一点由下游分类任务中可测量的准确率提升所证实。

Figure 2 : An overview of the APGAN+TTUR employed for skin lesion synthesis.