[논문 리뷰] An Automatic Diagnosis Method of Facial Acne Vulgaris Based on Convolutional Neural Network

Xiaolei Shen, Jiachi Zhang외 2명|arXiv (Cornell University)|2017. 11. 13.

melanin and skin pigmentation참고 문헌 2인용 수 6

한 줄 요약

이 논문은 사전 훈련된 VGG16 합성곱 신경망을 사용하여 7종류의 여드름 유형(건강한 피부 포함)을 분류함으로써 깊이 학습 기반의 자동 진료 시스템을 제안한다. 이는 강력한 피부 감지 능력과 세분화된 병변 분류 성능을 제공한다. 전이 학습을 활용하여 소규모 데이터셋에서 커스터마이즈된 CNN보다 뛰어난 정확도와 일반화 능력을 확보함으로써 임상 영상 분석에서 높은 성능을 보였다.

ABSTRACT

In this paper, we present a new automatic diagnosis method of facial acne vulgaris based on convolutional neural network. This method is proposed to overcome the shortcoming of classification types in previous methods. The core of our method is to extract features of images based on convolutional neural network and achieve classification by classifier. We design a binary classifier of skin-and-non-skin to detect skin area and a seven-classifier to achieve the classification of facial acne vulgaris and healthy skin. In the experiment, we compared the effectiveness of our convolutional neural network and the pre-trained VGG16 neural network on the ImageNet dataset. And we use the ROC curve and normal confusion matrix to evaluate the performance of the binary classifier and the seven-classifier. The results of our experiment show that the pre-trained VGG16 neural network is more effective in extracting image features. The classifiers based on the pre-trained VGG16 neural network achieve the skin detection and acne classification and have good robustness.

연구 동기 및 목표

• 기존의 여드름 진료 방법이 수동적인 특징 추출에 의존하고, 분류 범주가 근본적으로 모호한 데 기인한 한계를 극복하기 위해.
• 얼굴 영상에서 여러 종류의 여드름을 동시에 감지하고 분류할 수 있는 자동적이고 객관적이며 통합적인 진료 시스템을 개발하기 위해.
• 다양한 조명 및 색상 조건에서 피부 및 여드름 병변 감지의 강건성과 일반화 능력을 향상시키기 위해.
• 제한된 여드름 영상 데이터셋에서 사전 훈련된 VGG16과 커스터마이즈된 CNN 간의 전이 학습 효과를 평가하기 위해.

제안 방법

• 얼굴의 피부 영역를 국소화하기 위해 합성곱 신경망을 사용하여 이진 피부-비피부 분류기를 훈련시켜 ROI 감지를 가능하게 한다.
• 검은두통, 흰두통, 여드름, 농양, 낭종, 건강한 피부를 포함한 6종류의 여드름 유형과 건강한 피부를 구분하기 위해 7종류 분류기를 구현한다.
• ImageNet에서 사전 훈련된 VGG16 모델을 사용하여 고수준 특징을 추출함으로써 소규모 데이터셋에서 성능을 향상시킨다.
• 얼굴 영역를 분석하고 패치 수준에서 분류를 적용하기 위해 슬라이딩 윈도우 처리(50×50 패치)를 사용한다.
• 이진 피부 분류기와 7종류 여드름 분류기의 성능을 평가하기 위해 ROC 곡선과 정규화된 혼동 행렬을 사용한다.
• 훈련 중 과적합을 완화하기 위해 데이터 증강 및 드롭아웃 기법을 적용한다.

실험 결과

연구 질문

• RQ1 소규모 데이터셋에서 여드름 영상 분류의 특징 추출에 있어 사전 훈련된 CNN(VGG16)이 커스터마이즈된 CNN보다 뛰어난 성능을 보일 수 있는가?
• RQ2 기존의 색상 공간 기반 방법과 비교해 볼 때, 제안된 피부 감지 방법은 조명 및 색상 변화에 대해 얼마나 효과적인가?
• RQ3 이전의 이원 또는 삼원 분류 시스템에 비해 7종류 분류 모델은 진료의 세부 정보를 어느 정도 향상시키는가?
• RQ4 특히 낭종 및 농양과 같은 큰 병변에 대해 시스템의 주요 실패 원인은 무엇인가?
• RQ5 훈련 데이터가 제한된 상황에서 전이 학습이 모델의 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 사전 훈련된 VGG16 모델은 일반화 능력이 뛰어나 소규모 데이터셋에서 커스터마이즈된 CNN보다 특징 추출 성능이 뛰어나며, 특히 이 점에서 유의미한 성과를 보였다.
• 피부 감지 분류기는 조명 및 색상 변화에 매우 강건했으며, 주로 피부-비피부 전환 영역에서 오분류가 발생했다.
• 7종류 분류기는 검은두통, 흰두통, 여드름 및 건강한 피부에 대해 뛰어난 성능를 보였지만, 낭종, 농양 및 큰 병변의 경우 패치 크기(50×50)를 초과해 정확도가 낮았다.
• 정규화된 혼동 행렬은 대부분의 클래스에서 높은 특이도와 민감도를 보였으며, 이는 모델이 임상 영상 분석에서 신뢰할 수 있음을 확인했다.
• VGG16를 사용한 전이 학습은 성공에 결정적인 역할을 했으며, 소규모 데이터셋으로 인해 커스터마이즈된 CNN는 높은 훈련 정확도를 보였지만 일반화 능력이 열악했다.
• 이 시스템은 동시에 여러 종류의 여드름을 분류함으로써 통합적이고 세밀한 진료를 가능하게 하여 이전의 근본적인 분류 방법에 비해 크게 향상된 성능을 제공한다.