[논문 리뷰] Quantifying Facial Age by Posterior of Age Comparisons

Yunxuan Zhang, Li Liu외 2명|arXiv (Cornell University)|2017. 08. 31.

Face recognition and analysis참고 문헌 19인용 수 13

한 줄 요약

이 논문은 알려진 연령이 있는 이미지 데이터베이스와의 인간-인간 비교를 통해 실외 환경의 얼굴 이미지에 후행 연령 분포를 레이블링하기 위한 새로운 방법을 제안한다. 순서형 초평면과 후행 손실을 공동으로 학습하는 딥 네트워크를 사용하여, MORPH2, Adience, 그리고 새로 도입된 MegaAge 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하였으며, MegaAge에서 CA(7) 점수는 73.15%이며, MegaAge-Asian에서는 90.80%를 기록하였다.

ABSTRACT

We introduce a novel approach for annotating large quantity of in-the-wild facial images with high-quality posterior age distribution as labels. Each posterior provides a probability distribution of estimated ages for a face. Our approach is motivated by observations that it is easier to distinguish who is the older of two people than to determine the person's actual age. Given a reference database with samples of known ages and a dataset to label, we can transfer reliable annotations from the former to the latter via human-in-the-loop comparisons. We show an effective way to transform such comparisons to posterior via fully-connected and SoftMax layers, so as to permit end-to-end training in a deep network. Thanks to the efficient and effective annotation approach, we collect a new large-scale facial age dataset, dubbed `MegaAge', which consists of 41,941 images. Data can be downloaded from our project page mmlab.ie.cuhk.edu.hk/projects/MegaAge and github.com/zyx2012/Age_estimation_BMVC2017. With the dataset, we train a network that jointly performs ordinal hyperplane classification and posterior distribution learning. Our approach achieves state-of-the-art results on popular benchmarks such as MORPH2, Adience, and the newly proposed MegaAge.

연구 동기 및 목표

• 높은 주관성으로 인해 연령 레이블이 정확하게 제공되기 어려운 대규모 실외 환경의 얼굴 이미지에 신뢰할 수 있는 연령 레이블을 부여하는 데 도전한다.
• 기존 데이터셋이 근사 연령 범위나 제한된, 다양성이 낮은 환경에 의존하는 데서 비롯되는 한계를 극복한다.
• 절대 연령 추정보다 비교하기 쉬운 연령 비교(누가 더 나이가 많나요?)를 활용하여 더 강력하고 불확실성 인식이 가능한 연령 레이블을 생성한다.
• 일반화 능력과 정확도 향상을 위해 순서형 연령 분류와 후행 연령 분포 예측을 동시에 학습하는 딥 러닝 프레임워크를 개발한다.

제안 방법

• 질의 이미지(알 수 없는 연령)와 기준 이미지(알려진 연령) 간의 인간-인간 비교를 통해 확률적 연령 레이블을 생성한다.
• 각 비교를 베르누이 시험으로 모델링하고, 비교를 독립적 관측치로 간주하여 베이지안 추론을 사용해 후행 연령 분포를 계산한다.
• 순서형 초평면 분류와 후행 분포 예측을 위한 이중 출력을 갖는 딥 컨volution 신경망을 훈련한다.
• 후행 출력 헤드는 완전 연결 층과 SoftMax 층을 통해 내부 특징를 연령 클래스에 대한 확률 분포로 매핑한다.
• 순서형 순위에 대한 비용 감안 손실과 Kullback-Leibler(KL) 발산 손실을 조합한 공동 손실 함수를 최적화하여 네트워크를 학습한다.
• 전이 학습을 가능하게 하고 후속 작업에서 성능을 향상시키기 위해 MS-Celeb-1M에서 미리 훈련된 절삭된 VGG 아키텍처를 특징 추출에 활용한다.

Figure 1: (a) Comparing the proposed target annotation (also the prediction) with existing schemes. In contrast to current schemes that either provide an actual age label or age range, we introduce a new annotation that faithfully captures the distribution of estimated ages. The annotation can be ob

실험 결과

연구 질문

• RQ1 얼굴 간의 연령 비교가 실외 이미지에 대해 신뢰할 수 있고 불확실성 인식이 가능한 후행 연령 분포를 효과적으로 생성하는 데 사용될 수 있는가?
• RQ2 기본적인 순서형 또는 회귀 기반 접근 방식과 비교해 연령 추정을 후행 분포 학습 과제로 모델링하는 것이 성능 향상에 기여하는가?
• RQ3 순서형 초평면과 후행 분포 손실을 공동으로 학습함으로써 다양한 벤치마크에서 모델의 일반화 능력과 정확도 향상이 어느 정도 이루어지는가?
• RQ4 기존의 표준 벤치마크인 MORPH2, Adience, 그리고 새로 도입된 MegaAge 데이터셋에서 제안된 방법이 최신 기술 수준의 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ5 손실 함수의 각 구성 요소(비용 감안 vs. KL 발산)가 최종 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 MegaAge 데이터셋에서 CA(7) 점수 73.15%를 기록하여, 동일한 벤치마크에서 기존 방법들인 누적 속성(66.80%)과 딥 컨볼루션 신경망(66.30%)보다 뚜렷이 뛰어난 성능을 보였다.
• 더 다양한 MegaAge 데이터셋에서 전체 모델은 CA(7) 72.31%를 기록하여, 제약 없고 실제 환경의 이미지에 대해 강력한 일반화 능력을 보였다.
• 한국인 얼굴만 포함된 MegaAge-Asian 하위집합에서는 더욱 높은 성능을 기록하여, 전체 모델이 90.80%의 CA(7)을 달성하였으며, 이는 제어된 고품질 하위집합에서 강력한 성능을 보임을 시사한다.
• 제거 실험 결과, KL 발산 손실을 제거하면 성능이 뚜렷이 저하됨(73.15% vs. 72.31%)을 확인하여 후행 분포 학습의 중요성을 입증하였다.
• 단지 비용 감안 손실만을 사용해 훈련한 모델은 MegaAge에서 CA(5) 57.90%를 기록했지만, 두 손실을 모두 사용할 경우 성능이 58.37%로 향상되어 공동 최적화의 상호보완적 이점이 있음을 보여주었다.
• 학습 데이터 증가에 따라 성능 향상이 일관되게 관찰되었으며, MegaAge 데이터의 100%를 추가하면 CA(7)이 54.61%에서 73.15%로 상승하여 확장성과 데이터 효율성을 입증하였다.

Figure 2: Results of the user study: (a) Test I – volunteers were asked to guess the actual age given an image. (b) Test II – volunteers were asked to compare the age of two persons.