[论文解读] Skin Deep Unlearning: Artefact and Instrument Debiasing in the Context of Melanoma Classification

Peter J. Bevan, Amir Atapour–Abarghouei|arXiv (Cornell University)|Sep 20, 2021

Cutaneous Melanoma Detection and Management被引用 8

一句话总结

本论文提出使用去学习技术——具体为“不学习”（LNTL）与“视而不见”——来去偏置卷积神经网络（CNN）在黑色素瘤分类中的表现，减轻外科标记和尺子带来的偏差，并减少成像设备引起的虚假变化。该方法提升了模型的鲁棒性与泛化能力，在有偏差的数据上AUC最高提升15.3%，并在基准数据集上的表现超过皮肤科医生。

ABSTRACT

Convolutional Neural Networks have demonstrated dermatologist-level performance in the classification of melanoma from skin lesion images, but prediction irregularities due to biases seen within the training data are an issue that should be addressed before widespread deployment is possible. In this work, we robustly remove bias and spurious variation from an automated melanoma classification pipeline using two leading bias unlearning techniques. We show that the biases introduced by surgical markings and rulers presented in previous studies can be reasonably mitigated using these bias removal methods. We also demonstrate the generalisation benefits of unlearning spurious variation relating to the imaging instrument used to capture lesion images. Our experimental results provide evidence that the effects of each of the aforementioned biases are notably reduced, with different debiasing techniques excelling at different tasks.

研究动机与目标

• 解决皮肤病变图像中因外科标记和尺子导致的黑色素瘤分类偏差问题，此类偏差会降低模型性能。
• 减轻因成像设备差异引起的虚假变化，以提升模型在多样化临床环境中的泛化能力。
• 开发一种无需改变临床实践或图像预处理的去偏置框架，以支持实际部署。
• 证明去学习技术可在不牺牲准确率的前提下，提升模型在有偏差和无偏差数据上的性能。
• 在多个具有不同领域偏移的基准数据集上评估去偏置方法的有效性。

提出的方法

• 应用‘不学习’（LNTL）与‘视而不见’去学习方法，以抑制模型对外科标记和尺子等伪影的依赖。
• 在LNTL中使用梯度反转层，促使特征提取器学习对伪影存在不敏感的表征。
• 将图像尺寸作为成像设备类型的代理，以建模并消除设备相关的偏差。
• 训练一个共享的特征提取器，并配备辅助去偏头，用于预测伪影存在情况，从而引导主分类器忽略虚假线索。
• 在多个测试集（如ISIC、MClass、Asan）上微调模型，以评估在领域偏移下的泛化能力。
• 进行消融研究，以验证梯度反转与去偏头在训练流程中的必要性。

实验结果

研究问题

• RQ1 去学习技术能否有效降低皮肤病变图像中因外科标记和尺子导致的模型偏差？
• RQ2 在缓解与伪影相关的偏差时，不同去偏方法（LNTL与‘视而不见’）的性能表现如何比较？
• RQ3 去学习在多大程度上能提升模型在成像设备各异的数据集间的泛化能力？
• RQ4 去除伪影与设备相关偏差是否会损害模型在干净、无伪影图像上的性能？
• RQ5 去偏方法是否能在标准化基准上实现超越经验丰富的皮肤科医生的性能？

主要发现

• LNTL方法在去除外科标记偏差时，AUC提升了6.1%，证明了其在不损失干净图像性能的前提下实现有效去偏。
• 在LNTL中结合混淆损失与梯度反转，使含尺子图像的AUC提升达15.3%，显著优于基线模型。
• ‘视而不见’方法在Asan数据集上去除设备相关偏差后，AUC相比基线提升11.6%。
• 去偏模型在无伪影测试集上保持或提升了性能，证实去学习不会损害泛化能力。
• 所提出的模型在MClass基准上超越了平均皮肤科医生的表现，多个测试集上AUC得分更高。
• 消融研究证实，若在LNTL中移除梯度反转层，性能将下降，验证了其在去偏过程中的关键作用。