[论文解读] Estimating Skin Tone and Effects on Classification Performance in Dermatology Datasets

Newton Mwai Kinyanjui, Timothy Odonga+5 more|arXiv (Cornell University)|Oct 29, 2019

Cutaneous Melanoma Detection and Management参考文献 30被引用 37

一句话总结

该论文使用 ITA 在两个皮肤科基准数据集估计皮肤色调分布，检视代表性差距，并评估不同皮肤色调类别下的分类器性能，发现深色调代表性不足但没有明显的性能偏差。

ABSTRACT

Recent advances in computer vision and deep learning have led to breakthroughs in the development of automated skin image analysis. In particular, skin cancer classification models have achieved performance higher than trained expert dermatologists. However, no attempt has been made to evaluate the consistency in performance of machine learning models across populations with varying skin tones. In this paper, we present an approach to estimate skin tone in benchmark skin disease datasets, and investigate whether model performance is dependent on this measure. Specifically, we use individual typology angle (ITA) to approximate skin tone in dermatology datasets. We look at the distribution of ITA values to better understand skin color representation in two benchmark datasets: 1) the ISIC 2018 Challenge dataset, a collection of dermoscopic images of skin lesions for the detection of skin cancer, and 2) the SD-198 dataset, a collection of clinical images capturing a wide variety of skin diseases. To estimate ITA, we first develop segmentation models to isolate non-diseased areas of skin. We find that the majority of the data in the the two datasets have ITA values between 34.5° and 48°, which are associated with lighter skin, and is consistent with under-representation of darker skinned populations in these datasets. We also find no measurable correlation between performance of machine learning model and ITA values, though more comprehensive data is needed for further validation.

研究动机与目标

• 使用 ITA 量化两个公开皮肤科数据集中的皮肤色调表示。
• 为非疾病皮肤开发分割掩模，以便对每张图像计算 ITA。
• 评估皮肤色调（ITA）是否与这些数据集中的分类性能相关。
• 突出数据集偏差并为更均衡、公正的皮肤科医生图像数据集提供指南。

提出的方法

• 训练 Mask R-CNN 对皮肤病灶进行分割并提取非疾病皮肤区域。
• 利用 CIELab 的 L 和 b、对非疾病皮肤计算 ITA，并将 ITA 分成 8 个类别。
• 在 ISIC2018（10,015 张图像，7 类）和 SD-136（4,467 张图像，136 类）上训练 DenseNet-201 模型，使用合适的数据增强和带类别权重的损失。
• 使用验证集精度和来自 10 次随机分割的标准误差，评估基于 ITA 的皮肤色调类别下的分类性能。

实验结果

研究问题

• RQ1 ISIC2018 和 SD-136 是否低估了更深皮肤色调的 ITA 值？
• RQ2 在这些数据集中，基于 ITA 的皮肤色调与分类器性能之间是否存在可测量的相关性？
• RQ3 皮肤色调表示在不同 ITA 类别中的分类准确率有何影响？

主要发现

• ISIC2018 和 SD-136 的 ITA 值主要位于较浅的类别，表明深色皮肤色调的代表性不足。
• ISIC2018 的分割质量较高（准确率 0.956），SD-136（准确率 0.802），可用于 ITA 估计。
• 在所研究的数据集的验证集内，ITA 值与分类器性能之间没有可测量的相关性。
• ISIC2018 总体准确率为 0.869（在 very_light 到 tan1 的皮肤色调范围内分别为 0.94 到 0.83），SD-136 总体准确率为 0.604（在不同皮肤色调下的范围为 0.50 到 0.72）。
• 总体而言，研究未发现基于 ITA 的皮肤色调类别的模型性能存在明确趋势，尽管需要更多数据以得出确切结论。