[论文解读] Illumination-based Transformations Improve Skin Lesion Segmentation in Dermoscopic Images

Kumar Abhishek, Ghassan Hamarneh+1 more|arXiv (Cornell University)|Mar 23, 2020

Cutaneous Melanoma Detection and Management参考文献 31被引用 12

一句话总结

本文提出了一种基于深度学习的皮肤镜图像语义分割框架，通过整合基于物理的光照和色彩理论变换——具体为归一化红色通道与明暗互补色彩带、光照不变的内在图像，以及灰度转换——显著提升了性能，相较于仅使用RGB的基线模型，在ISIC 2017、DermoFit和PH2数据集上的平均Jaccard指数分别提升了12.02%、4.30%和8.86%。

ABSTRACT

The semantic segmentation of skin lesions is an important and common initial task in the computer aided diagnosis of dermoscopic images. Although deep learning-based approaches have considerably improved the segmentation accuracy, there is still room for improvement by addressing the major challenges, such as variations in lesion shape, size, color and varying levels of contrast. In this work, we propose the first deep semantic segmentation framework for dermoscopic images which incorporates, along with the original RGB images, information extracted using the physics of skin illumination and imaging. In particular, we incorporate information from specific color bands, illumination invariant grayscale images, and shading-attenuated images. We evaluate our method on three datasets: the ISBI ISIC 2017 Skin Lesion Segmentation Challenge dataset, the DermoFit Image Library, and the PH2 dataset and observe improvements of 12.02%, 4.30%, and 8.86% respectively in the mean Jaccard index over a baseline model trained only with RGB images.

研究动机与目标

• 解决由于皮肤镜图像中光照、色彩和对比度变化导致的病变外观不一致问题。
• 探究整合基于物理的光照和色彩理论知识是否能够提升基于深度学习的皮肤病变分割性能。
• 评估特定光照不变和基于色彩的图像变换对分割性能的贡献。
• 证明即使在大规模数据集上进行训练，深度学习模型也能从显式整合光照感知特征中获益。
• 评估所提方法在图像质量与采集条件各异的多样化皮肤镜图像数据集上的泛化能力。

提出的方法

• 该方法通过将原始RGB皮肤镜图像与四种衍生图像类型拼接，扩展了深度语义分割模型的输入：归一化红色通道（R′）、明暗互补（V*）、内在灰度图像（Intrinsic）和遮蔽衰减图像（SA）。
• 归一化红色通道R′计算为R′ = R / (R + G + B)，突出红色强度相对于总亮度的相对大小。
• 明暗互补V*由V* = 1 − V计算得出，其中V为归一化RGB通道中的最大值，从而增强低光照区域的对比度。
• 通过对数色度和最小熵方法生成内在图像，以获得光照不变的灰度表示。
• 遮蔽衰减图像通过在光学密度空间中采用最小熵投影方法获得，以减少非均匀光照的影响。
• 所有变换后的图像与原始RGB图像进行通道拼接，并输入深度学习分割模型（如全卷积网络），以提升特征学习能力。

实验结果

研究问题

• RQ1 基于光照的图像变换是否能提升深度学习模型在皮肤病变分割中的性能？
• RQ2 哪些特定的光照或基于色彩的变换对分割准确率的提升贡献最大？
• RQ3 与标准RGB输入相比，整合基于物理的图像表示在应对光照和对比度变化时的鲁棒性如何？
• RQ4 深度学习模型在多大程度上受益于显式编码光照不变特征，而非隐式学习这些特征？
• RQ5 所提方法在图像质量与采集条件各异的多样化皮肤镜图像数据集上是否具有良好的泛化能力？

主要发现

• 所提方法在ISIC 2017数据集上相较于仅使用RGB的基线模型，平均Jaccard指数提升了12.02%。
• 在DermoFit数据集上，方法使平均Jaccard指数相比基线提升了4.30%，其中内在图像的变换贡献最为显著。
• 在PH2数据集上，方法实现了平均Jaccard指数8.86%的提升，表明其在不同数据集间具有强大的泛化能力。
• 消融实验表明，内在图像和灰度转换（GRAY）对性能提升贡献最大，而遮蔽衰减（SA）图像影响最小，原因在于JPEG压缩图像中投影角度不理想。
• 归一化红色（R′）和明暗互补（V*）通道对性能提升贡献较小，可能是因为这些变换较为简单，网络可轻松学习。
• SA图像未能提升性能的原因被归因于JPEG压缩导致高频分量丢失，造成熵最小化效果差，投影角度在图像集内不理想。