[论文解读] An Encoder-Decoder CNN for Hair Removal in Dermoscopic Images

Lidia Talavera-Martínez, Pedro Bibiloni+1 more|arXiv (Cornell University)|Oct 10, 2020

Cutaneous Melanoma Detection and Management参考文献 28被引用 5

一句话总结

本文提出了一种用于皮肤镜图像去毛发的新型编码器-解码器卷积神经网络（CNN），采用结合L1、SSIM、TV及前景/背景L1项的复合损失函数，以改善纹理恢复效果。该方法在合成数据集上的定量与定性评估中均优于六种传统计算机视觉技术，且在源自公开皮肤镜数据库的合成数据集上取得了统计上更优的结果。

ABSTRACT

The process of removing occluding hair has a relevant role in the early and accurate diagnosis of skin cancer. It consists of detecting hairs and restore the texture below them, which is sporadically occluded. In this work, we present a model based on convolutional neural networks for hair removal in dermoscopic images. During the network's training, we use a combined loss function to improve the restoration ability of the proposed model. In order to train the CNN and to quantitatively validate their performance, we simulate the presence of skin hair in hairless images extracted from publicly known datasets such as the PH2, dermquest, dermis, EDRA2002, and the ISIC Data Archive. As far as we know, there is no other hair removal method based on deep learning. Thus, we compare our results with six state-of-the-art algorithms based on traditional computer vision techniques by means of similarity measures that compare the reference hairless image and the one with hair simulated. Finally, a statistical test is used to compare the methods. Both qualitative and quantitative results demonstrate the effectiveness of our network.

研究动机与目标

• 开发一种基于深度学习的皮肤镜图像去毛发方法，以解决传统计算机视觉技术的局限性。
• 设计一种自定义损失函数，以增强毛发区域下纹理与颜色的恢复效果。
• 构建一个合成数据集，通过在无毛皮肤镜图像上模拟毛发，以实现严格的定量评估。
• 客观比较所提出的CNN模型与六种最先进的传统去毛发算法。
• 在真实皮肤镜图像上验证模型的有效性，超越合成数据的限制。

提出的方法

• 采用带有跳跃连接的编码器-解码器CNN架构，以在重建过程中保留空间细节。
• 网络通过结合L1、SSIM、总变差（TV）以及前景/背景特定L1项的复合损失函数进行训练。
• 在PH2、dermquest、dermis、EDRA2002和ISIC数据集的实拍无毛皮肤镜图像上进行毛发模拟，以生成训练与测试数据。
• 损失函数包含前景L1项，以保留病灶区域的纹理，以及背景L1项，以减少非病灶区域的模糊。
• 通过消融研究评估各损失组件及架构选择（如跳跃连接与池化层）的贡献。
• 采用统计假设检验，基于九种相似性度量比较各方法的性能。

实验结果

研究问题

• RQ1 基于深度CNN的方法是否能在皮肤镜图像去毛发任务中超越传统计算机视觉方法？
• RQ2 复合损失函数的引入如何影响去毛发区域的纹理与颜色恢复质量？
• RQ3 跳跃连接与池化层等架构组件对重建性能有何影响？
• RQ4 通过消融研究，各独立损失项（如L1、SSIM、TV）对最终输出质量的贡献如何？
• RQ5 该模型是否能良好泛化至具有自然毛发的真实皮肤镜图像？

主要发现

• 所提出的CNN模型在九种相似性度量中的八种上，相较于六种最先进的传统方法，表现出了统计上更优的性能。
• 消融研究显示，若移除背景L1项，结果会更模糊，表明其在保持非病灶区域锐度方面具有关键作用。
• SSIM与TV损失项的引入显著提升了结构一致性，并减少了重建区域的噪声。
• 跳跃连接被证实对保留细节至关重要，与无跳跃连接的变体相比，其在视觉与定量指标上均有明显提升。
• 该模型在具有自然毛发的真实皮肤镜图像上也表现出良好的泛化能力，生成结果在视觉上合理且具有诊断价值。
• 包含所有组件的损失函数在测试集上取得了最佳PSNR（35.538 dB）与SSIM（0.974），优于所有消融变体。