[논문 리뷰] Transfer Learning with Deep CNNs for Gender Recognition and Age Estimation

Philip N. Smith, Cuixian Chen|arXiv (Cornell University)|2018. 11. 18.

Face recognition and analysis참고 문헌 13인용 수 7

한 줄 요약

이 논문은 MORPH-II 데이터셋에서 성별 인식과 연령 추정을 위한 전이 학습 접근법을 제안한다. 사전 훈련된 VGG19 및 VGGFace 딥 컨볼루션 신경망을 활용하며, 데이터 증강, 레이블 분포 연령 인코딩, 성별별 계층적 모델을 적용하여 성별 정확도 98.7%와 연령 추정의 평균 절대 오차(MAE) 4.10년을 달성하여 단일 모델 접근법을 능가한다.

ABSTRACT

In this project, competition-winning deep neural networks with pretrained weights are used for image-based gender recognition and age estimation. Transfer learning is explored using both VGG19 and VGGFace pretrained models by testing the effects of changes in various design schemes and training parameters in order to improve prediction accuracy. Training techniques such as input standardization, data augmentation, and label distribution age encoding are compared. Finally, a hierarchy of deep CNNs is tested that first classifies subjects by gender, and then uses separate male and female age models to predict age. A gender recognition accuracy of 98.7% and an MAE of 4.1 years is achieved. This paper shows that, with proper training techniques, good results can be obtained by retasking existing convolutional filters towards a new purpose.

연구 동기 및 목표

• 사전 훈련된 딥 컨볼루션 신경망을 활용한 전이 학습을 통해 성별 인식과 연령 추정 정확도를 향상시키는 것.
• 데이터 증강, 입력 표준화, 레이블 분포 연령 인코딩과 같은 다양한 훈련 기법이 모델 성능에 미치는 영향을 평가하는 것.
• 일반 모델보다 성별에 따라 분리된 연령 추정을 위한 계층적 모델이 더 나은 성능을 내는지 조사하는 것.
• VGG19와 VGGFace 사전 훈련 모델이 얼굴 인구통계 예측 작업에서 얼마나 효과적인지 비교하는 것.
• 추론 속도 평가를 통해 제안된 시스템이 실시간 구현 가능성 여부를 입증하는 것.

제안 방법

• ImageNet과 얼굴 인식 데이터셋에서 사전 훈련된 VGG19 및 VGGFace 모델을 각각 성별 및 연령 예측에 맞게 미세 조정하는 것.
• 연령을 확률 분포로 모델링하여 연령 추정 성능을 향상시키기 위해 동적 레이블 분포 연령 인코딩(LDAE)을 적용하는 것.
• 모델 일반화 및 강인성을 향상시키기 위해 데이터 증강과 입력 표준화를 사용하는 것.
• 두 단계로 구성된 계층적 모델 구현: 먼저 성별을 분류하고, 그 결과에 따라 성별별로 연령 모델을 적용하여 정밀한 추정을 수행하는 것.
• MORPH-II 데이터의 80%를 훈련 세트로, 나머지 20%를 테스트 세트로 사용하며, 두 세트 간에 동일한 주체가 겹치지 않도록 보장하는 것.
• 연령 추정에는 평균 절대 오차(MAE)를, 성별 분류에는 정확도를 사용해 평가하는 것.

Figure 1: A depiction of subsetting scheme on a cleaned version of MORPH-II, following the subsetting proposed by Guo and Mu [ 22 ] .

실험 결과

연구 질문

• RQ1 일반 목적의 VGG19와 비교해 얼굴 인식 데이터셋에서 사전 훈련된 VGGFace 가중치를 사용한 전이 학습이 성별 인식과 연령 추정 정확도를 향상시키는가?
• RQ2 데이터 증강, 입력 표준화, 레이블 분포 연령 인코딩이 연령 및 성별 예측 성능에 미치는 영향은 무엇인가?
• RQ3 성별에 따라 분리된 계층적 연령 모델이 단일 일반 모델보다 연령 추정 오차를 줄일 수 있는가?
• RQ4 정확도와 과적합의 균형을 고려할 때, 성별 및 연령 모델의 최적 훈련 에포크 수는 얼마인가?
• RQ5 제안된 시스템은 실시간 추론 성능를 달성하여 실용적 응용에 배치할 수 있는가?

주요 결과

• 성별별 계층적 연령 모델은 평균 절대 오차(MAE) 4.10년을 달성하여 연구에서 테스트한 모든 다른 모델을 능가했다.
• VGGFace 모델은 성별 인식 정확도 98.68%를 기록하여 VGG19 모델의 96.6% 정확도를 초월했다.
• 계층적 접근법은 연령 추정 오차를 4.10년으로 줄였으며, 남성 연령 모델의 MAE는 3.79년, 여성 모델은 5.22년이었다.
• 시스템은 실시간 추론 속도 62.62 프레임 per 초를 달성하여 실시간 배포에 적합함을 보였다.
• 동적 LDAE는 정적 LDAE보다 연령 추정 성능 향상에 더 효과적인 것으로 확인되었다.
• 기존 최고 성능 모델들인 BIF+KPLS(4.18 MAE) 및 BIF+OLPP(4.45 MAE)에 비해 모델 성능이 뛰어났다.

Figure 2: A new top for VGG19. All weights are initialized randomly and then the network learns how to discern male from female by examining the output of the convolutional layers.