[논문 리뷰] Understanding and Comparing Deep Neural Networks for Age and Gender Classification

Sebastian Lapuschkin, Alexander Binder외 2명|arXiv (Cornell University)|2017. 08. 25.

Face recognition and analysis참고 문헌 36인용 수 34

한 줄 요약

이 논문은 Adience 벤치마크를 사용하여 딥 네ural 네트워크에서 모델 초기화, 전처리 및 아키텍처가 연령 및 성별 분류에 미치는 영향을 조사한다. Layer-wise Relevance Propagation (LRP)를 적용하여 특징 중요도를 시각화함으로써, ImageNet 전훈련이 통합적 특징 사용을 가능하게 하고 정확도를 향상시켜, 간단한 전처리와 최적화된 모델을 통해 최신 기술 성능(90.0%)을 달성함을 보여준다.

ABSTRACT

Recently, deep neural networks have demonstrated excellent performances in recognizing the age and gender on human face images. However, these models were applied in a black-box manner with no information provided about which facial features are actually used for prediction and how these features depend on image preprocessing, model initialization and architecture choice. We present a study investigating these different effects. In detail, our work compares four popular neural network architectures, studies the effect of pretraining, evaluates the robustness of the considered alignment preprocessings via cross-method test set swapping and intuitively visualizes the model's prediction strategies in given preprocessing conditions using the recent Layer-wise Relevance Propagation (LRP) algorithm. Our evaluations on the challenging Adience benchmark show that suitable parameter initialization leads to a holistic perception of the input, compensating artefactual data representations. With a combination of simple preprocessing steps, we reach state of the art performance in gender recognition.

연구 동기 및 목표

• 모델 초기화, 전처리 및 아키텍처가 DNN의 연령 및 성별 분류 성능에 미치는 영향을 이해하기 위해.
• 이미지 전처리 아티팩트가 모델의 일반화 및 내성에 미치는 영향을 조사하기 위해.
• Layer-wise Relevance Propagation (LRP)를 사용하여 모델의 결정 과정을 시각화하고 해석하기 위해.
• 다양한 아키텍처에서 무작위 초기화 대비 전훈련된 가중치 초기화의 효과를 비교하기 위해.
• 최적화된 전처리 및 초기화를 통해 Adience 벤치마크에서 성별 분류 성능을 최신 기술 수준으로 끌어올리기 위해.

제안 방법

• 연구는 Adience 벤치마크에서 CaffeNet, GoogleNet, VGG-16 및 ResNet 기반 모델의 네 가지 DNN 아키텍처를 평가한다.
• ImageNet 가중치, IMDB-WIKI 가중치(연령 추정용) 및 무작위 초기화로 초기화된 모델을 비교한다.
• 전처리에는 회전 정렬, 평면 내 얼굴 정렬 및 테스트 세트 교체가 포함되어, 전처리 불일치에 대한 내성성을 평가한다.
• 피그셀 수준에서 예측에 가장 기여하는 얼굴 영역을 시각화하기 위해 Layer-wise Relevance Propagation (LRP)가 사용된다.
• Adience 데이터셋에서 5겹 교차 검증을 수행하고, 연령 및 성별 분류 정확도를 보고한다.
• 모델의 내성성을 평가하기 위해 테스트 세트 교체 기법을 사용한다: 한 전처리 방식으로 학습한 모델을 다른 전처리 방식의 테스트 세트에서 평가하여 전처리 아티팩트에 대한 과적합 여부를 탐지한다.

실험 결과

연구 질문

• RQ1 ImageNet 또는 IMDB-WIKI에서의 전훈련이 연령 및 성별 분류에서 모델 성능과 특징 활용에 어떤 영향을 미치는가?
• RQ2 학습과 테스트 간 전처리 불일치(예: 회전 정렬)가 발생할 경우, 전처리 아티팩트로 인해 모델의 일반화 능력이 얼마나 떨어지는가?
• RQ3 다른 모델 아키텍처(예: GoogleNet, VGG-16)는 다양한 초기화 조건에서 얼굴 특징에 얼마나 의존하는가?
• RQ4 LRP는 모델이 통합적 얼굴 특징을 사용하는지, 아니면 눈썹이나 귀와 같은 고립된 특징에 과적합하는지 효과적으로 드러낼 수 있는가?
• RQ5 어떤 전처리 및 초기화 조합이 Adience 벤치마크에서 성별 분류 성능을 최신 기술 수준으로 이끌 수 있는가?

주요 결과

• ImageNet에서 전훈련된 GoogleNet 모델은 성별 분류에 더 넓은 범위의 얼굴 특징을 사용하는 반면, 무작위 초기화된 모델은 눈썹이나 입과 같은 고립된 특징에 과적합된다.
• IMDB-WIKI에서의 전훈련(연령 추정용)은 VGG-16의 연령 예측에서 얼굴 특징 중심의 표현을 유도하여 배경이나 옷에 대한 의존도를 감소시킨다.
• 테스트 세트 교체 분석 결과, 기울인 이미지로 학습한 모델는 정렬된 이미지에서 훨씬 낮은 성능을 보이며, 전처리 아티팩트에 과적합된 것으로 나타났다.
• ImageNet에서 전훈련된 모델는 전처리 불일치에 대해 뛰어난 내성을 보이며, 다양한 정렬 방법에서도 성능이 유지된다.
• 회전 정렬과 ImageNet 전훈련의 조합이 Adience 벤치마크에서 최신 기술 수준의 성별 분류 정확도 90.0%를 달성했다.
• 기울인 이미지에서 학습한 미세조정 모델는 정확히 전처리된 데이터에서부터 학습한 모델와 유사한 성능을 회복함으로써, 적절한 초기화의 이점이 확인되었다.