[논문 리뷰] Face shape classification using Inception v3

Adonis Emmanuel DC. Tio|arXiv (Cornell University)|2019. 11. 15.

Face and Expression Recognition참고 문헌 5인용 수 32

한 줄 요약

이 논문은 전이 학습을 활용한 Inception v3를 사용하여 여성 유명인 500장의 이미지 데이터셋에서 얼굴 형태 분류를 위한 딥러닝 접근법을 제안한다. 전체 정확도는 84.8%를 기록했으며, 수작업 특징 공학이 필요 없기 때문에 기존의 SVM, LDA, KNN 등의 전통적 방법보다 뛰어나며, 공개된 코드를 함께 제공함으로써 이 작업에 최초로 CNN을 적용한 연구로 기록된다.

ABSTRACT

In this paper, we present experimental results obtained from retraining the last layer of the Inception v3 model in classifying images of human faces into one of five basic face shapes. The accuracy of the retrained Inception v3 model was compared with that of the following classification methods that uses facial landmark distance ratios and angles as features: linear discriminant analysis (LDA), support vector machines with linear kernel (SVM-LIN), support vector machines with radial basis function kernel (SVM-RBF), artificial neural networks or multilayer perceptron (MLP), and k-nearest neighbors (KNN). All classifiers were trained and tested using a total of 500 images of female celebrities with known face shapes collected from the Internet. Results show that training accuracy and overall accuracy ranges from 98.0% to 100% and from 84.4% to 84.8% for Inception v3 and from 50.6% to 73.0% and from 36.4% to 64.6% for the other classifiers depending on the training set size used. This result shows that the retrained Inception v3 model was able to fit the training data well and outperform the other classifiers without the need to handpick specific features to include in model training. Future work should consider expanding the labeled dataset, preferably one that can also be freely distributed to the research community, so that proper model cross-validation can be performed. As far as we know, this is the first in the literature to use convolutional neural networks in face-shape classification. The scripts are available at https://github.com/adonistio/inception-face-shape-classifier.

연구 동기 및 목표

• 딥 컨volution 신경망을 사용한 자동 얼굴 형태 분류의 가능성 탐색.
• 수작업된 얼굴 랜드마크 특징을 사용한 고전적 기계학습 방법과 Inception v3의 성능 비교.
• 사전 훈련된 모델을 활용한 전이 학습이 수작업 특징 공학 없이도 높은 정확도를 달성할 수 있음을 입증.
• 향후 얼굴 형태 분류 분야의 연구를 지원하기 위해 공개된 구현 코드 제공.

제안 방법

• 사전 훈련된 Inception v3 모델의 최종 완전 연결층을 다섯 가지 얼굴 형태 분류를 위해 미세 조정.
• 인터넷에서 수집한 500장의 여성 유명인 얼굴 이미지로 구성된, 알려진 얼굴 형태를 가진 데이터셋을 사용.
• 전통적 분류기(LDA, SVM, MLP, KNN)의 입력 특징으로 얼굴 랜드마크 간격과 각도를 추출.
• 일반화 능력을 평가하기 위해 다양한 훈련 세트 크기에서 모든 모델을 훈련 및 평가.
• ImageNet 사전 훈련 가중치를 활용하여 훈련 시간과 데이터 요구량을 줄이기 위해 전이 학습 적용.
• 재현 가능성과 향후 연구를 위해 코드를 공개.

실험 결과

연구 질문

• RQ1 Inception v3와 같은 사전 훈련된 CNN이 광범위한 데이터나 특징 공학 없이도 얼굴 형태 분류에 효과적으로 미세 조정될 수 있는가?
• RQ2 얼굴 랜드마크 기반 특징을 사용한 고전적 기계학습 모델과 비교해 Inception v3의 성능은 어떠한가?
• RQ3 제한된 실세계 데이터셋에서 Inception v3를 사용한 전이 학습이 기존 방법보다 더 높은 정확도를 달성할 수 있는가?
• RQ4 과적합 없이 다양한 훈련 세트 크기에서 모델이 잘 일반화되는가?
• RQ5 이 연구는 엔드 투 엔드 학습을 사용한 얼굴 형태 분류에 최초로 CNN을 적용한 성공적인 사례인가?

주요 결과

• 재훈련된 Inception v3 모델은 훈련 정확도 범위가 98.0%에서 100%에 이르며, 훈련 데이터에 강하게 적합함을 나타낸다.
• Inception v3의 총 정확도는 84.4%에서 84.8% 사이로, 테스트된 모든 다른 분류기보다 뚜렷이 뛰어나다.
• 가장 성능이 좋았던 고전적 방법인 SVM-RBF는 최대 정확도 64.6%를 기록했고, KNN과 LDA는 65% 이하에 머물렀다.
• 모든 훈련 세트 크기에서 Inception v3는 모든 기준 모델을 일관되게 능가하며 뛰어난 강건성을 보였다.
• 다른 방법들과 달리 이 모델은 수작업 특징 선택이 필요로 하지 않았다.
• 저자들은 이 연구가 기존 문헌에서 엔드 투 엔드 학습을 사용해 CNN을 얼굴 형태 분류에 적용한 최초의 사례임을 확인한다.