[논문 리뷰] Personalized and Occupational-aware Age Progression by Generative Adversarial Networks

Siyu Zhou, Weiqiang Zhao외 5명|arXiv (Cornell University)|2017. 11. 26.

Face recognition and analysis참고 문헌 6인용 수 15

한 줄 요약

이 논문은 개인의 얼굴 특성과 직업에 따른 피부 질감 변화를 모두 모델링하는 직업 인지 생성 적대 신경망(OAFA)을 제안한다. 새로운 직업별 얼굴 노화 데이터셋(OFAD)을 도입하고 개인화 및 직업 인지 적대 손실을 통합함으로써 기존 최고 수준의 접근 방식보다 더 현실적인 다중 직업 노화 결과를 생성한다.

ABSTRACT

Face age progression, which aims to predict the future looks, is important for various applications and has been received considerable attentions. Existing methods and datasets are limited in exploring the effects of occupations which may influence the personal appearances. In this paper, we firstly introduce an occupational face aging dataset for studying the influences of occupations on the appearances. It includes five occupations, which enables the development of new algorithms for age progression and facilitate future researches. Second, we propose a new occupational-aware adversarial face aging network, which learns human aging process under different occupations. Two factors are taken into consideration in our aging process: personality-preserving and visually plausible texture change for different occupations. We propose personalized network with personalized loss in deep autoencoder network for keeping personalized facial characteristics, and occupational-aware adversarial network with occupational-aware adversarial loss for obtaining more realistic texture changes. Experimental results well demonstrate the advantages of the proposed method by comparing with other state-of-the-arts age progression methods.

연구 동기 및 목표

• 직업이 피부 질감 변화에 미치는 영향을 조사한다.
• 기존의 노화 진행 방법이 개인당 단일 미래 외형만 생성하는 한계를 해결한다.
• 단일 입력 얼굴에서 여러 직업에 맞는 노화 결과를 생성할 수 있는 딥 생성 모델을 개발한다.
• 정확히 직업에 따라 달라지는 노화 효과를 모델링하면서도 개인의 얼굴 정체성을 유지한다.
• 직업별 얼굴 노화 연구를 위한 기준 데이터셋을 구축한다.

제안 방법

• 직업 조건에 따라 연령 진전된 얼굴을 생성하는 조건부 생성 적대 신경망(OAFA)을 제안한다.
• 개인화된 손실을 사용하여 원래 얼굴을 재구성하고 정체성을 유지하는 딥 오토에인코더 기반 개인화 네트워크를 활용한다.
• 이중 구성 요소 손실인 조건부 적대 손실과 트리플릿 순위 손실을 포함한 직업 인지 적대 네트워크를 도입하여 현실적인 질감 모델링을 구현한다.
• 트리플릿 순위 손실을 통해 동일한 사람의 다양한 직업에 따른 생성 이미지 간의 의미적 유사성을 강제하여 직업 일관성을 향상시킨다.
• 공유 인코더와 조건부 감독을 사용하여 생성기로 각 입력에 대해 다섯 개의 서로 다른 연령 진전된 출력을 생성한다.
• 5개의 직업과 두 개의 연령 그룹(30–50세, 50–80세)을 포함하는 새로 도입된 종합적으로 애너테이션 처리된 직업별 얼굴 노화 데이터셋(OFAD)을 활용한다.

실험 결과

연구 질문

• RQ1 다른 직업들이 피부 질감에 특히 영향을 미치는 얼굴 노화의 시각적 외형에 어떻게 영향을 미치는가?
• RQ2 딥 생성 모델이 한 명의 개인에 대해 서로 다른 직업을 반영한 다수의 현실적인 연령 진전된 얼굴을 생성할 수 있는가?
• RQ3 개인화된 얼굴 정체성이 직업 인지 노화 진행 중에 얼마나 잘 유지되는가?
• RQ4 개인화된 손실과 직업 인지 적대 손실의 조합이 생성된 노화 얼굴의 현실성과 일관성을 얼마나 향상시키는가?
• RQ5 새로운 직업 애너테이션 처리된 데이터셋은 노화 진행 모델의 평가 및 개발에 얼마나 효과적인가?

주요 결과

• 사용자 연구에서 제안된 OAFA 방법은 60.32%의 인식률을 기록하여 참가자들이 생성된 이미지가 참값과 같은 사람이라고 판단했다.
• 비교 사용자 연구에서 61.35%의 참가자가 OAFA로 생성된 이미지를 CAAE의 결과보다 선호하여 더 뛰어난 현실성과 노화 세부 정보를 보였다.
• 절단 실험 결과, 트리플릿 순위 손실을 제거하면 직업 일관성이 떨어져 이 손실이 직업 특화 노화 모델링에서 중요한 역할을 한다는 점을 확인했다.
• 개인화된 손실 가중치(λ)를 증가시키면 정체성 유지가 향상되었지만 노화 및 직업 특성의 구별성이 떨어져 정체성과 현실성 사이의 상충 관계를 보였다.
• 이 방법은 특히 고령 그룹에서 의미 있게 다름을 보이는 주름과 기미 등의 세밀한 피부 질감을 성공적으로 생성했다.
• 5개의 직업과 2개의 연령 범위를 포함하는 OFAD 데이터셋은 얼굴 노화 연구를 위한 직업 애너테이션 처리가 된 공개 가능한 첫 번째 데이터셋이다.