[논문 리뷰] Multi-Expert Gender Classification on Age Group by Integrating Deep Neural Networks

Jun Beom Kho|arXiv (Cornell University)|2018. 09. 06.

Face recognition and analysis참고 문헌 33인용 수 4

한 줄 요약

이 논문은 연령대별로 전문성을 부여하는 멀티익스퍼트 성별 분류(MGA)를 제안한다. MGA는 얼굴 외형 특징을 추출하는 컨볼루션 알라미네이션 네트워크(CAN)와 얼굴 형상 특징을 추출하는 딥 기하 네트워크(DGN)를 통합한 엔드 투 엔드 다중 작업 학습 프레임워크이며, 연령대 분류가 전문성 전환을 이끈다. MGA는 단지 2M 파라미터로 MORPH-2에서 SOTA 성능인 99.11%의 성별 분류 정확도를 달성하였고, Adience에서는 93.80%를 기록하였으며, 이는 이전 방법들보다 유의미하게 뛰어나면서도 계산 비용을 최대 69배까지 감소시켰다.

ABSTRACT

Generally, facial age variations affect gender classification accuracy significantly, because facial shape and skin texture change as they grow old. This requires re-examination on the gender classification system to consider facial age information. In this paper, we propose Multi-expert Gender Classification on Age Group (MGA), an end-to-end multi-task learning schemes of age estimation and gender classification. First, two types of deep neural networks are utilized; Convolutional Appearance Network (CAN) for facial appearance feature and Deep Geometry Network (DGN) for facial geometric feature. Then, CAN and DGN are integrated by the proposed model integration strategy and fine-tuned in order to improve age and gender classification accuracy. The facial images are categorized into one of three age groups (young, adult and elder group) based on their estimated age, and the system makes a gender prediction according to average fusion strategy of three gender classification experts, which are trained to fit gender characteristics of each age group. Rigorous experimental results conducted on the challenging databases suggest that the proposed MGA outperforms several state-of-art researches with smaller computational cost.

연구 동기 및 목표

• 비구속 환경에서 얼굴 노화가 성별 분류 정확도에 악영향을 미치는 문제를 해결한다.
• 연령대별 전문성과 얼굴 기하학적 특징을 활용하여 성별 분류 성능을 향상시킨다.
• 연령 추정과 성별 분류를 동시에 수행하는 경량이고 효율적인 딥 러닝 모델을 개발한다.
• 모델 크기를 증가시키지 않고도 외형 및 기하학적 특징을 새로운 모델 통합 전략을 통해 통합한다.
• 기존 SOTA 방법들에 비해 최소한의 계산 비용으로 벤치마크 데이터셋에서 뛰어난 성능을 보여준다.

제안 방법

• 경량 CNN 기반의 컨볼루션 알라미네이션 네트워크(CAN)를 사용하여 피부 질감과 색상과 같은 얼굴 외형 특징을 추출한다.
• 반면의 얼굴 입력을 사용하여 강건한 얼굴 형상 특징을 추출하는 딥 기하 네트워크(DGN)를 제안한다. 이는 자세 변화가 있는 상황에서도 특히 효과적이다.
• CAN과 DGN을 함께 미세조정하여 특징 융합 및 전체 성능 향상을 높이는 모델 통합 전략을 구현한다.
• 연령 추정을 통해 입력 이미지를 세 연령대(청년, 성인, 노년)로 분류한 후, 연령대별로 성별 분류 전문가를 적용한다.
• 세 연령대별로 전용된 성별 분류 전문가의 평균 융합 전략을 적용하여 최종 성별 예측을 도출한다.
• 엔드 투 엔드로 전체 MGA 시스템을 다중 작업 학습을 통해 훈련시켜 연령 추정과 성별 분류를 동시에 수행한다.

실험 결과

연구 질문

• RQ1 노화 영향을 받는 얼굴 데이터에서 연령대 인식 전문성 전환 전략이 성별 분류 성능 향상에 기여하는가?
• RQ2 DGN를 통한 깊이 있는 얼굴 기하학적 특징과 CAN를 통한 외형 특징의 융합이 성별 분류에 얼마나 효과적인가?
• RQ3 제안된 모델 통합 전략이 모델 크기를 늘리지 않으면서도 성능 향상에 기여하는가?
• RQ4 기존 방법들에 비해 유의미하게 감소된 파라미터 수로 MGA가 SOTA 정확도를 달성할 수 있는가?
• RQ5 실제 환경 조건에서 Adience 및 MORPH-2와 같은 다양한 데이터셋에서 MGA의 성능은 어떻게 변화하는가?

주요 결과

• MGA는 MORPH-2에서 99.11%의 성별 분류 정확도를 달성하였고, 이는 기존 방법들보다 뛰어나며 단지 2M 파라미터만을 사용한다. 이는 [28] 및 [32]와 같은 방법들보다 최대 69배 작다.
• Adience 데이터셋에서는 MGA가 93.80%의 성별 정확도와 79.55%의 정확한 연령 추정 정확도를 기록하였으며, 더 작은 모델 크기임에도 불구하고 SOTA 방법들을 능가한다.
• DGN와 CAN의 융합은 성능 향상을 이끌어내며, 기하학적 특징이 노화 영향을 받는 상황에서도 성별 분류에 기여함을 입증한다.
• ResNet-50와 결합했을 때 MGA(ResNet-50)는 MORPH-2에서 99.11%의 성별 정확도와 2.95 MAE를 기록하여 깊이 있는 아키텍처와의 호환성과 확장성을 입증한다.
• 연령대별 전문가의 평균 융합 전략은 청년 및 노년 연령대에서의 성능 저하를 감소시키며, 연령 인식 전문성의 효과성을 확인한다.
• 제안된 모델 통합 전략은 모델 크기를 증가시키지 않으면서도 외형 및 기하학적 특징을 성공적으로 융합하여 계산 효율성을 유지한다.