[논문 리뷰] A Computer Vision Application for Assessing Facial Acne Severity from Selfie Images

Tingting Zhao, Hang Zhang외 1명|arXiv (Cornell University)|2019. 07. 18.

Acne and Rosacea Treatments and Effects참고 문헌 8인용 수 23

한 줄 요약

이 논문은 심층 학습 기반의 컴퓨터 비전 시스템을 제시하며, 성능이 피부과 전문의 수준에 도달하는 스마트폰 카메라로 촬영한 손대미지 이미지에서 얼굴 여드름의 심각도를 평가한다. 얼굴 영역에서 ResNet-152를 사용한 전이 학습과 새로운 이미지 롤링 데이터 증강 기법을 적용하여 공간 일반화 능력을 향상시켰고, 테스트 이미지에서 피부과 전문의 패널의 절반 이상을 초월하여 성능을 발휘하여, 스마트폰 셀피 이미지만을 사용한 여드름 심각도 평가 분야에서 처음으로 이 같은 솔루션을 제시한다.

ABSTRACT

We worked with Nestle SHIELD (Skin Health, Innovation, Education, and Longevity Development, NSH) to develop a deep learning model that is able to assess acne severity from selfie images as accurate as dermatologists. The model was deployed as a mobile application, providing patients an easy way to assess and track the progress of their acne treatment. NSH acquired 4,700 selfie images for this study and recruited 11 internal dermatologists to label them in five categories: 1-Clear, 2- Almost Clear, 3-Mild, 4-Moderate, 5-Severe. Using OpenCV to detect facial landmarks we cut specific skin patches from the selfie images in order to minimize irrelevant background. We then applied a transfer learning approach by extracting features from the patches using a ResNet 152 pre-trained model, followed by a fully connected layer trained to approximate the desired severity rating. To address the problem of spatial sensitivity of CNN models, we introduce a new image rolling data augmentation approach, effectively causing acne lesions appeared in more locations in the training images. Our results demonstrate that this approach improved the generalization of the CNN model, outperforming more than half of the panel of human dermatologists on test images. To our knowledge, this is the first deep learning-based solution for acne assessment using selfie images.

연구 동기 및 목표

• 스마트폰으로 촬영한 자기 촬영 이미지를 활용해 정확하고 접근성이 높은 여드름 심각도 평가 방법을 개발하는 것.
• 여드름 병변 탐지에 있어 제한된 임상 데이터와 컨volutional 네트워크 모델의 공간 민감도 문제를 해결하는 것.
• 환자가 여드름 진행 상황을 시간에 따라 추적할 수 있도록 하는 모바일 애플리케이션을 구축하는 것.
• 셀피 이미지에서 여드름 병변의 다양성에 맞춰진 혁신적인 데이터 증강 기법을 통해 모델의 일반화 능력을 향상시키는 것.
• 심층 학습 모델이 셀피 이미지에서 피부과 전문의 수준의 정확도로 여드름 심각도 분류를 달성할 수 있음을 입증하는 것.

제안 방법

• 배경 간섭을 줄이기 위해 OpenCV를 사용해 얼굴 랜드마크를 검출하여 셀피 이미지에서 피부 영역을 추출한다.
• 자르기 전에 사전 학습된 ResNet-152 모델을 사용해 자르기 전 피부 영역에서 특징을 추출한다.
• 완전 연결 층을 미세 조정하여 5단계 척도(1=청결에서 5=심각)로 여드름 심각도를 예측한다.
• 다양한 공간 위치에 있는 여드름 병변을 시뮬레이션하기 위해 새로운 이미지 롤링 데이터 증강 전략을 도입하여 모델의 강건성을 향상시켰다.
• 11명의 피부과 전문의가 5개의 심각도 범주로 라벨링한 총 4,700장의 라벨링된 셀피 이미지로 모델을 훈련시켰다.
• 최종 모델는 실시간 여드름 심각도 평가가 가능한 모바일 애플리케이션으로 배포되었다.

실험 결과

연구 질문

• RQ1 셀피 이미지로 훈련된 심층 학습 모델이 여드름 심각도 분류에서 피부과 전문의 수준의 정확도를 달성할 수 있는가?
• RQ2 CNN에서의 공간 민감도가 여드름 병변 탐지에 어떤 영향을 미치며, 데이터 증강을 통해 이를 완화할 수 있는가?
• RQ3 새로운 이미지 롤링 데이터 증강 기법이 여드름 심각도 평가에 대한 모델의 일반화 능력을 향상시키는가?
• RQ4 모바일에 배포 가능한 컴퓨터 비전 시스템이 환자의 자가 모니터링을 효과적으로 지원할 수 있는가?
• RQ5 심층 학습 모델의 성능이 미리 보지 않은 테스트 이미지에서 피부과 전문의 패널과 비교해 어떻게 되는가?

주요 결과

• 모델는 셀피 이미지에서 여드름 심각도를 분류하는 데서 피부과 전문의와 유사한 성능을 달성했다.
• 제안된 이미지 롤링 데이터 증강 기법은 모델의 일반화 능력과 병변 위치 변화에 대한 강건성을 크게 향상시켰다.
• 테스트 세트에서 모델는 패널의 절반 이상을 초월하여 더 높은 일관성을 보였다.
• 시스템은 실시간 여드름 심각도 평가가 가능한 모바일 애플리케이션을 통해 환자의 자가 추적을 효과적으로 지원했다.
• 이 연구는 스마트폰 셀피 이미지만을 사용한 여드름 심각도 평가 분야에서 처음으로 심층 학습 기반 솔루션을 제시한다.
• 얼굴 랜드마크 검출 및 피부 영역 추출을 통해 모델의 집중이 관련 얼굴 영역으로 향해 정확도가 향상되었다.