[논문 리뷰] Heterogeneous Face Attribute Estimation: A Deep Multi-Task Learning Approach

Hu Han, Anil K. Jain외 3명|arXiv (Cornell University)|2017. 06. 03.

Face recognition and analysis인용 수 26

한 줄 요약

이 논문은 공유 및 카테고리별 특징 학습을 통해 다양한 이질적 얼굴 특징(예: 연령, 성별, 인종, 얼굴 특징)을 동시에 추정하는 딥 다중태스크 학습(DMTL) 프레임워크를 제안한다. 이는 순서형 대비 명목형, 통합형 대비 국소적 특징 등 이질성과 상관관계를 모델링함으로써 성능을 향상시킨다. 다양한 벤치마크에서 최신 기준 성능을 달성하며, MORPH II에서 인종 추정은 98.6% 정확도, 연령 추정은 85.3% 정확도(MAE 3.0)를 기록했고, 실시간 추론 기능도 구현한다.

ABSTRACT

Face attribute estimation has many potential applications in video surveillance, face retrieval, and social media. While a number of methods have been proposed for face attribute estimation, most of them did not explicitly consider the attribute correlation and heterogeneity (e.g., ordinal vs. nominal and holistic vs. local) during feature representation learning. In this paper, we present a Deep Multi-Task Learning (DMTL) approach to jointly estimate multiple heterogeneous attributes from a single face image. In DMTL, we tackle attribute correlation and heterogeneity with convolutional neural networks (CNNs) consisting of shared feature learning for all the attributes, and category-specific feature learning for heterogeneous attributes. We also introduce an unconstrained face database (LFW+), an extension of public-domain LFW, with heterogeneous demographic attributes (age, gender, and race) obtained via crowdsourcing. Experimental results on benchmarks with multiple face attributes (MORPH II, LFW+, CelebA, LFWA, and FotW) show that the proposed approach has superior performance compared to state of the art. Finally, evaluations on a public-domain face database (LAP) with a single attribute show that the proposed approach has excellent generalization ability.

연구 동기 및 목표

• 기존 얼굴 특징 추정 방법이 특징 학습 과정에서 특징 간 상관관계와 이질성을 忽시하는 한계를 해결하기 위해.
• 단일 얼굴 이미지에서 순서형, 명목형, 통합형, 국소적 특징 등 다양한 유형의 특징을 동시에 추정할 수 있는 통합 딥 러닝 프레임워크를 개발하기 위해.
• 감시, 검색, 소셜 미디어 응용 분야에 실용적으로 적용하기 위해, 인구통계적 특징(연령, 성별, 인종)을 커뮤니티 기반으로 코딩한 새로운 비제약 얼굴 데이터베이스인 LFW+를 구축하기 위해.
• 다양한 데이터베이스와 테스트 환경(예: 데이터베이스 간, 특징 간 설정)에서의 일반화 성능을 평가하기 위해.
• 실제 응용 환경에서의 실시간 추론과 높은 정확도를 동시에 달성하기 위해.

제안 방법

• 공유 특징 학습 스트림은 배치 정규화를 적용한 수정된 AlexNet 기반으로, 모든 특징 유형에 걸쳐 일반적인 특징을 추출한다.
• 공유 트렁크 이후에 카테고리별 특화된 서브넷을 통합하여 다양한 특징 유형(예: 순서형 대비 명목형, 통합형 대비 국소적)에 맞는 특징 학습을 최적화한다.
• 다양한 특징 유형에 대한 손실 함수를 동시에 최적화함으로써, 상호 특징 간 상관관계를 포괄하는 엔드 투 엔드 학습을 가능하게 한다.
• 특징의 이질성은 서로 다른 의미적 유형과 스케일 유형(예: 인종 대비 연령)에 맞는 별도의 서브넷 설계를 통해 명시적으로 모델링한다.
• 이질적 특징 간 기울기 균형을 고려한 다중태스크 학습 목표를 사용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 새로운 데이터베이스인 LFW+는 LFW에 0–20세의 2,466장의 이미지를 추가하여 커뮤니티 기반으로 인구통계적 특징을 애너테이션한 방식으로 구축되었다.

Figure 1: Individual face attributes have both correlation and heterogeneity. While attribute correlation can be utilized to improve the robustness of attribute estimation, attribute heterogeneity should also be tackled by designing appropriate prediction models.

실험 결과

연구 질문

• RQ1 공유 및 이질성 모델링을 통해 특징 간 상관관계와 이질성을 동시에 고려한 통합 딥 러닝 프레임워크는 연령, 성별, 인종, 얼굴 특징 등 다양한 이질적 얼굴 특징을 보다 정확하게 동시에 추정할 수 있는가?
• RQ2 제안된 DMTL 방법은 다양한 벤치마크에서 다수의 이질적 특징을 포함하는 최신 기준 방법들과 비교해 어떻게 성능을 내는가?
• RQ3 모델은 새로운 데이터베이스와 데이터베이스 간 테스트 환경에 대해 얼마나 잘 일반화되는가?
• RQ4 실제 응용 환경에서 높은 정확도와 실시간 추론 속도를 유지할 수 있는가?
• RQ5 특징의 이질성(예: 순서형 대비 명목형, 통합형 대비 국소적)은 공동 특징 추정 모델의 성능과 설계에 어떤 영향을 미치는가?

주요 결과

• 제안된 DMTL 방법은 MORPH II 데이터셋에서 인종 분류에 98.6% 정확도, 연령 추정에 85.3% 정확도(MAE 3.0)를 기록하여 최신 기준 방법을 초월한다.
• LFW+ 데이터셋에서 성별 분류는 96.7%, 인종 분류는 94.9%의 정확도를 달성하여 0–20세의 다양한 연령대에서 강력한 성능을 보였다.
• 데이터베이스 간 테스트에서 모델은 잘 일반화된다: MORPH II에서 학습하고 LFW+에서 테스트했을 때 연령 추정은 77.4% 정확도, 인종 분류는 70.5% 정확도를 기록하여 도메인 이동에 대해 강건함을 입증했다.
• Titan X GPU에서 8ms, CPU에서는 35ms의 추론 시간을 기록하여 일반 소비자용 데스크톱에서 약 16fps의 실시간 추론이 가능했으며, 이는 이전 방법들보다 빠른 속도와 높은 정확도를 동시에 확보했다.
• CelebA에서 40개 특징에 대해 평균 93.0% 정확도, LFWA에서는 86.0% 정확도를 기록했으며, 개별 모델 및 이전 다중태스크 방법보다 일관된 성능 향상을 보였다.
• 제거 실험 결과, 특징 간 상관관계와 이질성을 동시에 모델링하는 것이 성능 향상에 크게 기여하며, 특히 데이터베이스 간 및 특징 간 설정에서 두드러진다.

Figure 2: Overview of the proposed deep multi-task learning (DMTL) network consisting of an early-stage shared feature learning for all the attributes, followed by category-specific feature learning for heterogeneous attribute categories. We use a modified AlexNet [ 11 ] with a batch normalization (