[论文解读] A Computer Vision Application for Assessing Facial Acne Severity from Selfie Images

Tingting Zhao, Hang Zhang+1 more|arXiv (Cornell University)|Jul 18, 2019

Acne and Rosacea Treatments and Effects参考文献 8被引用 23

一句话总结

本论文提出了一种基于深度学习的计算机视觉系统，能够从自拍图像中评估面部痤疮严重程度，其性能与皮肤科医生相当。通过在面部区域图像上使用ResNet-152进行迁移学习，并引入一种新颖的图像滚动数据增强技术，该模型提升了空间泛化能力，在测试图像上表现优于超过一半的皮肤科医生小组，标志着首个仅使用自拍图像进行痤疮严重程度评估的此类解决方案。

ABSTRACT

We worked with Nestle SHIELD (Skin Health, Innovation, Education, and Longevity Development, NSH) to develop a deep learning model that is able to assess acne severity from selfie images as accurate as dermatologists. The model was deployed as a mobile application, providing patients an easy way to assess and track the progress of their acne treatment. NSH acquired 4,700 selfie images for this study and recruited 11 internal dermatologists to label them in five categories: 1-Clear, 2- Almost Clear, 3-Mild, 4-Moderate, 5-Severe. Using OpenCV to detect facial landmarks we cut specific skin patches from the selfie images in order to minimize irrelevant background. We then applied a transfer learning approach by extracting features from the patches using a ResNet 152 pre-trained model, followed by a fully connected layer trained to approximate the desired severity rating. To address the problem of spatial sensitivity of CNN models, we introduce a new image rolling data augmentation approach, effectively causing acne lesions appeared in more locations in the training images. Our results demonstrate that this approach improved the generalization of the CNN model, outperforming more than half of the panel of human dermatologists on test images. To our knowledge, this is the first deep learning-based solution for acne assessment using selfie images.

研究动机与目标

• 开发一种准确且易于获取的方法，利用自拍手机图像评估痤疮严重程度。
• 解决在痤疮皮损检测中，卷积神经网络模型因临床数据有限和空间敏感性带来的挑战。
• 创建一款移动应用程序，使患者能够追踪痤疮的进展情况。
• 通过针对自拍图像中痤疮皮损变异性的创新数据增强方法，提升模型的泛化能力。
• 证明深度学习模型能够实现与皮肤科医生相当的准确度，对自拍图像中的痤疮严重程度进行分类。

提出的方法

• 使用OpenCV检测面部关键点，从自拍图像中提取皮肤区域，减少背景干扰。
• 使用预训练的ResNet-152模型从裁剪出的皮肤区域中提取特征。
• 微调全连接层，以在5级严重程度评分（1=无瑕至5=严重）上预测痤疮严重程度。
• 提出一种新颖的图像滚动数据增强策略，模拟痤疮皮损在不同空间位置的分布，提升模型鲁棒性。
• 模型在4,700张由11位皮肤科医生标注的、分为五个严重程度类别的自拍图像上进行训练。
• 最终模型被部署为移动应用程序，实现实时痤疮严重程度评估。

实验结果

研究问题

• RQ1 在自拍图像上训练的深度学习模型能否在痤疮严重程度分类中达到与皮肤科医生相当的准确度？
• RQ2 卷积神经网络中的空间敏感性如何影响痤疮皮损检测？能否通过数据增强加以缓解？
• RQ3 新颖的图像滚动数据增强技术是否能提升痤疮严重程度评估的模型泛化能力？
• RQ4 可部署于移动设备的计算机视觉系统能否有效支持患者对痤疮进展的自我监测？
• RQ5 该深度学习模型在未见测试图像上的表现与一组人类皮肤科医生相比如何？

主要发现

• 该模型在从自拍图像中分类痤疮严重程度方面，表现与皮肤科医生相当。
• 所提出的图像滚动数据增强技术显著提升了模型的泛化能力，并增强了对皮损位置变化的鲁棒性。
• 该模型在测试集中表现优于半数以上皮肤科医生小组，展现出更高的稳定性。
• 该系统成功通过移动应用程序实现实时痤疮严重程度评估，支持患者自我追踪。
• 这是首个仅使用自拍手机图像的基于深度学习的痤疮严重程度评估解决方案。
• 通过使用面部关键点检测和皮肤区域提取，模型更聚焦于相关面部区域，从而提升了准确度。