[논문 리뷰] VEGAC: Visual Saliency-based Age, Gender, and Facial Expression Classification Using Convolutional Neural Networks.

Ayesha Gurnani, Vandit Gajjar외 2명|arXiv (Cornell University)|2018. 03. 13.

Face recognition and analysis인용 수 7

한 줄 요약

VEGAC는 다중 벤치마크 데이터셋에서 시각적 주목성과 최적화된 VGG-16 CNN을 사용하여 다중 작업 얼굴 속성 분류 방법을 제안한다. 자르기 전후 얼굴에서 주목성 인식 특징 추출을 통해 연령 추정, 성별 분류, 표정 인식에서 경쟁적인 성능를 달성한다.

ABSTRACT

This paper explores the use of Visual Saliency to Classify Age, Gender and Facial Expression for Facial Images. For multi-task classification, we propose our method VEGAC, which is based on Visual Saliency. Using the Deep Multi-level Network [1] and off-the-shelf face detector [2], our proposed method first detects the face in the test image and extracts the CNN predictions on the cropped face. The CNN of VEGAC were fine-tuned on the collected dataset from different benchmarks. Our convolutional neural network (CNN) uses the VGG-16 architecture [3] and is pre-trained on ImageNet for image classification. We demonstrate the usefulness of our method for Age Estimation, Gender Classification, and Facial Expression Classification. We show that we obtain the competitive result with our method on selected benchmarks. All our models and code will be publically available.

연구 동기 및 목표

• 시각적 주목성을 활용하여 동시에 연령, 성별 및 표정 분류를 수행할 수 있는 통합 딥 러닝 프레임워크 개발.
• 사전 훈련된 CNN과 주목성 기반 특징 선택을 통합하여 다중 작업 얼굴 속성 인식 성능 향상.
• 최적화된 VGG-16 아키텍처를 사용하여 벤치마크 데이터셋에서 최신 기술 수준의 성능를 입증.
• 공개된 트레이닝된 모델과 소스 코드를 통해 실용적 구현 가능하게 제공.

제안 방법

• 입력 이미지 내 얼굴를 국소화하기 위해 시장에 유통되는 얼굴 검출기를 사용하여 얼굴 검출 수행.
• 전이 학습을 위해 ImageNet에서 사전 훈련된 VGG-16 CNN 아키텍처에 자르기 전 얼굴 영역를 입력.
• 다중 작업 학습을 위해 여러 공개 벤치마크를 결합한 수집된 데이터셋에서 CNN을 최적화.
• 시각적 주목성 맵을 사용하여 특징 추출 및 분류를 안내하여 모델이 관련 얼굴 영역에 집중하도록 함.
• 딥 멀티레벨 네트워크에서의 다수준 특징을 활용하여 연령, 성별 및 표정 작업 간의 표현 학습 향상.
• 공유 백본 네트워크와 작업별 전용 헤드를 통해 모든 세 가지 분류 작업 간의 공동 최적화 가능.

실험 결과

연구 질문

• RQ1 시각적 주목성은 다중 작업 얼굴 속성 분류 성능를 향상시킬 수 있는가?
• RQ2 다중 벤치마크 데이터셋에서 사전 훈련된 VGG-16 모델을 최적화하면 연령, 성별 및 표정 분류 정확도에 어떤 영향을 미치는가?
• RQ3 주목성 유도 특징 추출은 모델의 강건성 및 일반화 능력을 어느 정도 향상시키는가?
• RQ4 제안된 VEGAC 프레임워크는 기존 최신 기술 수준의 방법들과 비교해 경쟁적인 성능를 달성하는가?

주요 결과

• VEGAC는 연령 추정, 성별 분류 및 표정 인식에 대해 벤치마크 데이터셋에서 경쟁적인 성능를 달성한다.
• 다중 벤치마크 데이터셋에서 VGG-16 모델을 최적화함으로써 세 가지 얼굴 속성 분류 작업 전반에 걸쳐 일반화 능력이 향상된다.
• 시각적 주목성 통합은 특징 학습을 향상시켜 분류에 유의미한 얼굴 영역에 집중하게 한다.
• 제안된 방법은 작업별 특화 아키텍처가 필요 없이 다양한 얼굴 속성에 대해 뛰어난 성능를 보여준다.
• 모든 트레이닝된 모델과 소스 코드는 재현성 및 향후 연구를 위해 공개된다.