[논문 리뷰] Learning Continuous Face Age Progression: A Pyramid of GANs

Hongyu Yang, Di Huang외 2명|arXiv (Cornell University)|2019. 01. 10.

Face recognition and analysis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 고연령 정확도와 신원 유지 능력을 동시에 확보하기 위해 신원 특징과 연령 특징을 분리하여 고해상도의 연령 진행을 위한 GAN 프레임워크를 제안한다. 다중 척도 판별자와 적대적 훈련을 통해 사진처럼 사실적인 연속적인 연령 진행 시퀀스를 생성하며, 각각 약 28년과 23년의 연령 진행 후 MORPH와 CACD에서 0.001% FAR일 때 99.88% 및 99.98%의 얼굴 인증 정확도를 달성한다.

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. This paper presents a novel generative adversarial network based approach to address the issues in a coupled manner. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. To ensure photo-realistic facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects with finer details. Further, an adversarial learning scheme is introduced to simultaneously train a single generator and multiple parallel discriminators, resulting in smooth continuous face aging sequences. The proposed method is applicable even in the presence of variations in pose, expression, makeup, etc., achieving remarkably vivid aging effects. Quantitative evaluations by a COTS face recognition system demonstrate that the target age distributions are accurately recovered, and 99.88% and 99.98% age progressed faces can be correctly verified at 0.001% FAR after age transformations of approximately 28 and 23 years elapsed time on the MORPH and CACD databases, respectively. Both visual and quantitative assessments show that the approach advances the state-of-the-art.

연구 동기 및 목표

• 기존 방법에서 자주 흔들리는 연령 진행 정확도와 신원 유지 능력의 이중 과제를 해결한다.
• 이전의 GAN 기반 접근 방식이 두 연령 그룹 간 전환에 국한되어 연속적이고 부드러운 연령 진행 시퀀스를 생성하지 못하는 한계를 극복한다.
• 광범위한 사전 처리나 개인별 종단선형 데이터가 없이도 자세, 표정, 메이크업 변화에 대비한 강력한 연령 진행을 가능하게 한다.
• 피라미드형 판별자 아키텍처를 사용해 다중 척도에서 고수준의 얼굴 특징을 모델링함으로써 사진처럼 사실적인 연령 진행 효과를 달성한다.
• 단일 생성자에 다중 병렬 판별자를 동시에 최적화하는 훈련 체계를 개발하여 안정적이고 연속적인 연령 진행을 보장한다.

제안 방법

• 신원 특징을 유지하면서 목표 연령 분포를 학습하고 연령 진행된 얼굴를 생성하기 위해 CNN 기반 생성자를 사용한다.
• 신원 특징(예: 얼굴 구조)과 연령 특징(예: 주름, 피부 질감)을 분리하여 시간에 따라 독립적으로 진화하는 특징을 모델링한다.
• 다중 척도에서 고수준의 얼굴 표현을 추정하는 피라미드 적대적 판별자를 도입하여 노화 세부 사항의 정교한 모델링을 가능하게 한다.
• 픽셀 수준의 L1 손실, 연령 관련 GAN 손실, 신원 의존 손실을 병합한 복합 훈련 비평가를 설계하여 신원 유지의 안정성을 확보한다.
• 단일 생성자와 다중 병렬 판별자를 사용하는 적대적 학습 체계를 구현하여 부드럽고 연속적인 연령 진행 시퀀스를 생성한다.
• 추론 시에는 오직 두 개의 망막 중심점만을 사용해 눈 정렬을 수행함으로써 사전 처리 요구 사항을 최소화하고 실용성과 편의성을 향상시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 얼굴 연령 진행에서 높은 연령 진행 정확도와 강력한 신원 유지 능력을 동시에 달성할 수 있는가?
• RQ2 단일 척도나 전역 판별자에 비해 다중 척도 피라미드 판별자는 노화 세부 사항을 얼마나 효과적으로 포착하는가?
• RQ3 자세, 표정, 메이크업 변화에 대비해 제안된 방법이 얼마나 잘 연속적이고 사진처럼 사실적인 연령 진행 시퀀스를 생성하는가?
• RQ4 다중 병렬 판별자를 사용하는 제안된 적대적 훈련 체계는 단일 판별자 설정에 비해 연령 진행 시퀀스의 품질과 연속성에 어떻게 기여하는가?
• RQ5 이 방법은 신원 일관성이나 현실감이 떨어지지 않고 장기적인 연령 진행(예: 20년 이상)에도 일반화 가능한가?

주요 결과

• 약 28.61년의 연령 진행 후 MORPH 데이터베이스에서 0.001% FAR일 때 99.88%의 얼굴 인증 정확도를 달성한다.
• CACD 데이터베이스에서는 약 23.09년의 연령 진행 후 0.001% FAR일 때 99.98%의 연령 진행된 얼굴가 정확하게 인증된다.
• 인간 평가 결과, 71.74%의 관찰자가 기존 기법보다 제안된 방법을 선호했고, 19.28%만 기존 방법을 선호했다.
• 자세나 표정 변화가 있더라도 가상의 그림자 아티팩트가 최소화되고 고해상도의 얼굴 세부 묘사가 높은 정확도로 유지되어 사진처럼 사실적인 노화 효과를 생성한다.
• 상용 도구인 Agingbooth와 Face of the Future를 포함한 최신 기술보다도 시각적 품질과 정량적 인증 지표에서 모두 뛰어나다.
• 최소한의 사전 처리(오직 두 개의 망막 중심점만 필요)를 요구하여 실생활 적용에 매우 실용적이다.