[논문 리뷰] On the effect of age perception biases for real age regression

Julio C. S. Jacques, Cagri Ozcinar외 4명|arXiv (Cornell University)|2019. 02. 20.

Face recognition and analysis참고 문헌 29인용 수 5

한 줄 요약

이 논문은 얼굴 특성(성별, 표정, 메이크업, 민족성 등)을 사용하여 인간의 인지 편향을 모델링함으로써 명시적 연령 추정과 실제 연령 회귀를 동시에 최적화하는 엔드 투 엔드 딥 러닝 프레임워크를 제안한다. 먼저 이러한 특성을 활용해 명시적 연령 추정을 향상시키고, 그 후에 이를 반대로 활용해 편향을 보정하고 실제 연령을 회귀함으로써, APPA-REAL 데이터셋에서 이전의 별도로 처리하는 최신 기법들을 능가하는 우수한 성능을 달성한다.

ABSTRACT

Automatic age estimation from facial images represents an important task in computer vision. This paper analyses the effect of gender, age, ethnic, makeup and expression attributes of faces as sources of bias to improve deep apparent age prediction. Following recent works where it is shown that apparent age labels benefit real age estimation, rather than direct real to real age regression, our main contribution is the integration, in an end-to-end architecture, of face attributes for apparent age prediction with an additional loss for real age regression. Experimental results on the APPA-REAL dataset indicate the proposed network successfully take advantage of the adopted attributes to improve both apparent and real age estimation. Our model outperformed a state-of-the-art architecture proposed to separately address apparent and real age regression. Finally, we present preliminary results and discussion of a proof of concept application using the proposed model to regress the apparent age of an individual based on the gender of an external observer.

연구 동기 및 목표

• 인간의 인지 편향을 딥 러닝에 통합할 경우 실제 연령 추정 성능 향상 여부를 조사하는 것.
• 얼굴 특성을 편향 지표로 사용하여 명시적 연령과 실제 연령 추정을 동시에 학습하는 엔드 투 엔드 아키텍처를 개발하는 것.
• 특성 인식 기반 학습을 통한 명시적 연령 추정이 실제 연령 회귀 정확도 향상에 기여하는지 검증하는 것.
• 관찰자 성별이 명시적 연령 인식에 미치는 영향을 탐구하고, 이를 개인화된 연령 추정에 반영하는 방법을 모델링하는 것.
• 관찰자의 성별을 기반으로 명시적 연령을 예측하는 프로토타입 응용을 구현하여 증명하는 것.

제안 방법

• 모델는 다중 작업 CNN 아키텍처를 사용하며, 초기 레이어에서 얼굴 특성(성별, 표정, 메이크업, 민족성)을 사용해 명시적 연령을 예측한다.
• 동일한 특징에서 실제 연령을 회귀하기 위해 별도의 손실 헤드를 사용하며, 이는 명시적 연령 예측의 편향 보정을 효과적으로 수행한다.
• 얼굴 특성은 원-핫 벡터로 인코딩되어 특징 맵에 연결되어 명시적 연령 및 실제 연령 예측을 안내한다.
• 명시적 연령과 실제 연령 회귀 손실을 조합한 복합 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 관찰자 성별 모델링을 위해 레이블러의 성별을 추가 입력으로 사용하며, 이는 원-핫 벡터로 인코딩되어 관찰 대상자의 특성과 연결된다.
• 관찰자 성별 레이블이 추가된 수정된 APPA-REAL 데이터셋을 사용해 미세조정을 수행하였으며, 새로운 훈련 세트로 1,328개의 샘플을 구성하였다.

실험 결과

연구 질문

• RQ1 얼굴 특성을 통해 인간의 인지 편향을 모델링하면 실제 연령 추정 성능 향상에 기여하는가?
• RQ2 명시적 연령과 실제 연령 회귀를 동시에 학습하는 엔드 투 엔드 학습 방식이 별도로 훈련하는 것보다 우수한가?
• RQ3 특정 특성(예: 성별, 표정, 메이크업)이 명시적 연령 및 실제 연령 추정에 어떤 영향을 미치는가?
• RQ4 모델는 남성 또는 여성 관찰자가 특정 얼굴의 연령을 어떻게 인식할지 예측할 수 있는가?
• RQ5 관찰자 성별이 명시적 연령 인식에 어떤 영향을 미치며, 이를 효과적으로 모델링할 수 있는가?

주요 결과

• 제안된 엔드 투 엔드 모델은 별도의 훈련 방식을 사용하는 최신 기준 모델보다 우수한 성능을 보였다.
• 관찰자 성별을 기반으로 명시적 연령을 예측할 때, 남성 관찰자에 대해 평균 절대 오차(MAE)가 9.243, 여성 관찰자에 대해 9.758로 나타나 남성 인식에서 略으로 더 높은 정확도를 보였다.
• 관찰자 성별을 입력으로 포함함으로써 모델는 관찰자별로 특화된 명시적 연령 예측 능력을 향상시켰으며, 정성적 결과를 통해 기대되는 성별 기반 인식 차이와 일관성을 보였다.
• 특성 인식 기반 편향 모델링을 통한 명시적 연령 추정이, 특성을 포함한 직접적인 실제 연령 대 실제 연령 회귀보다도 더 우수한 실제 연령 회귀 성능을 달성함을 입증하였다.
• 결과적으로 관찰자 성별이 명시적 연령 인식에 영향을 미치며, 이 효과는 딥 러닝 프레임워크 내에서 효과적으로 캡처하고 모델링할 수 있음을 시사한다.
• 프로토타입 응용은 관찰자의 성별을 기반으로 명시적 연령을 성공적으로 예측하여, 모델가 인간의 인지 편향을 시뮬레이션할 수 있는 능력을 검증하였다.