[논문 리뷰] Local Deep Neural Networks for Age and Gender Classification

Zukang Liao, Stavros Petridis외 1명|arXiv (Cornell University)|2017. 03. 24.

Face recognition and analysis참고 문헌 2인용 수 17

한 줄 요약

이 논문은 기존의 수백 개의 패치를 사용하는 것 대신 얼굴 전체를 커버하는 9개의 겹치는 얼굴 패치만을 사용하는 간소화된 국소 딥 뉴럴 네트워크(LDNN) 접근법을 제안한다. 이는 훈련 시간을 극적으로 단축시키며 성능 손실는 최소화한다. 이 방법은 원래 LDNN 대비 최대 1% 이하의 정확도 손실를 보이며 LFW에서 다른 비-CNN 방법보다 뛰어난 성능을 보이고 Adience에서는 최신 기술 수준의 결과를 달성한다. 특히 눈과 입 부위가 연령 및 성별 분류에 가장 분류 능력이 뛰어나다는 것이 밝혀졌다.

ABSTRACT

Local deep neural networks have been recently introduced for gender recognition. Although, they achieve very good performance they are very computationally expensive to train. In this work, we introduce a simplified version of local deep neural networks which significantly reduces the training time. Instead of using hundreds of patches per image, as suggested by the original method, we propose to use 9 overlapping patches per image which cover the entire face region. This results in a much reduced training time, since just 9 patches are extracted per image instead of hundreds, at the expense of a slightly reduced performance. We tested the proposed modified local deep neural networks approach on the LFW and Adience databases for the task of gender and age classification. For both tasks and both databases the performance is up to 1% lower compared to the original version of the algorithm. We have also investigated which patches are more discriminative for age and gender classification. It turns out that the mouth and eyes regions are useful for age classification, whereas just the eye region is useful for gender classification.

연구 동기 및 목표

• 국소 딥 뉴럴 네트워크(LDNN)의 훈련 계산 비용을 줄이기 위해.
• 전략적으로 배치된 최소한의 패치 세트가 높은 분류 정확도를 유지할 수 있는지 조사하기 위해.
• 연령 및 성별 분류에 가장 분류 능력이 뛰어난 얼굴 부위를 특정하기 위해.
• 간소화된 LDNN의 성능을 원래 LDNN 및 다른 비-CNN 최신 기술 수준의 방법과 비교하기 위해.

제안 방법

• 모서리 검출을 통해 추출하는 수백 개의 패치 대신, 각 이미지당 오직 9개의 겹치는 패치를 사용한다. 이 패치들은 얼굴 전체 영역을 커버하도록 구성된다.
• 패치들은 눈, 입, 코와 같은 주요 얼굴 부위 중심에 배치되며, 공간적 겹침을 통해 커버리지가 보장된다.
• 각 패치는 별도의 딥 뉴럴 네트워크로 처리되며, 최종 예측은 모든 패치의 예측 평균을 취해 결정된다.
• 거꾸로 뒤집기와 같은 데이터 증강 기법을 사용하지 않고, 드롭아웃 없이 단순한 순환 신경망을 사용한다.
• 성별 및 연령 분류는 두 단계 파이프라인으로 수행되며, 먼저 각 패치에서 성별을 분류하고, 그 결과에 따라 성별에 맞는 연령 분류기로 라우팅된다.
• 3D 형태의 LFW 및 Adience 데이터베이스를 사용하여 평가하며, 데이터 균형을 향상시키기 위해 연령 그룹을 통합한다.

실험 결과

연구 질문

• RQ1 원래 LDNN가 수백 개의 패치를 사용하는 것에 비해, 패치 수를 크게 줄인 9개의 패치로도 높은 성능을 유지할 수 있는가?
• RQ2 간소화된 LDNN을 사용할 때 연령 및 성별 분류에 가장 정보가 많은 얼굴 부위는 무엇인가?
• RQ3 기존의 비-CNN 최신 기술 수준의 방법과 비교해 봤을 때, 간소화된 LDNN이 벤치마크 데이터셋에서 유사하거나 더 뛰어난 성능을 보일 수 있는가?
• RQ4 패치 수준에서 성별과 연령 분류를 라우팅하는 방식이 전체 정확도에 어떤 영향을 미치는가?
• RQ5 성별 예측에서 잘못된 분류가 후속 연령 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 간소화된 9패치 LDNN은 원래 LDNN 대비 훈련 시간을 90% 이상 단축시키며, 정확도는 0.5%에서 1% 정도만 감소한다.
• LFW 데이터베이스에서 이 방법은 9패치 기반으로 78.63%의 성별 분류 정확도와 40.25%의 정확한 연령 그룹 분류 정확도를 달성한다.
• 성별과 연령 분류를 결합했을 때, Adience에서 정확한 정확도는 41.82%로 향상되었고, 한 단계 오차 정확도는 77.98%에 이른다.
• 눈 부위가 성별 및 연령 분류 모두에서 가장 분류 능력이 뛰어나며, 입 부위는 연령 추정에 특히 기여한다.
• 여성의 경우, 눈의 내측 모서리 패치(1번 및 3번)가 외측 패치보다 연령 분류 정확도가 2% 높게 나타나 지역 감도의 중요성을 보여준다.
• 남성의 성별을 잘못 분류하고 잘못된 연령 분류기로 라우팅할 경우, 정확도는 36.15%(한 단계 오차)로 떨어지지만, 이는 오류 전파에 대한 강건성을 시사한다.