[논문 리뷰] Face Aging With Conditional Generative Adversarial Networks

Grigory Antipov, Moez Baccouche외 1명|arXiv (Cornell University)|2017. 02. 07.

Face recognition and analysis인용 수 43

한 줄 요약

이 논문은 입력 얼굴를 재구성하면서도 원래의 신원을 유지하는 방식으로 신원 유지를 위한 조건부 GAN 기반 방법 Age-cGAN을 제안한다. 핵심 기여는 원래 신원을 유지하는 데 중점을 둔 새로운 '신원 유지' 최적화 방법으로, 재구성된 이미지에서 얼굴 인식 정확도가 82.9%에 달하여 기존 기준 방법보다 뚜렷하게 뛰어나다.

ABSTRACT

It has been recently shown that Generative Adversarial Networks (GANs) can produce synthetic images of exceptional visual fidelity. In this work, we propose the GAN-based method for automatic face aging. Contrary to previous works employing GANs for altering of facial attributes, we make a particular emphasize on preserving the original person's identity in the aged version of his/her face. To this end, we introduce a novel approach for "Identity-Preserving" optimization of GAN's latent vectors. The objective evaluation of the resulting aged and rejuvenated face images by the state-of-the-art face recognition and age estimation solutions demonstrate the high potential of the proposed method.

연구 동기 및 목표

• 기존 GAN 기반 얼굴 노화 방법이 노화 과정에서 원래 사람의 신원을 유지하지 못하는 한계를 해결하기 위해.
• 실제로 구현 가능한, 연령에 맞게 합성된 얼굴 이미지를 생성하면서도 높은 신원 충실도를 유지하는 방법을 개발하기 위해.
• 픽셀 수준 재구성보다는 신원 유지에 우선순위를 두는 새로운 잠재 벡터 최적화 전략을 도입하기 위해.
• 객관적인 검증을 위해 최신 기술 수준의 얼굴 인식 및 연령 추정 모델을 사용하여 방법을 평가하기 위해.
• 실제로 구현 가능한, 신원 일관성을 유지하는 얼굴 노화를 통해 교차 연령 얼굴 인식 및 합성 데이터 증강 응용을 가능하게 하기 위해.

제안 방법

• 이 방법은 조건부 GAN인 Age-cGAN을 사용하며, 생성자는 잠재 벡터 z와 목표 연령 조건 y를 입력으로 받아 연령에 맞는 얼굴 이미지를 생성한다.
• 입력 얼굴 재구성은 잠재 벡터 z*를 최적화하여 재구성 손실을 최소화하면서도 신원을 유지하도록 수행되며, 두 단계 과정을 거친다: 초기 근사치는 인코더를 통해, 이후 반복 최적화를 통해 개선한다.
• '신원 유지' 최적화 방법은 OpenFace 임bedding 공간 기반의 깊은 특징 손실을 사용하여 재구성된 이미지가 원본과 동일한 신원 관련 특징을 갖도록 보장한다.
• 최종적으로 노화된 이미지는 최적화된 잠재 벡터 z*를 유지하면서 생성기 입력에서 연령 조건 y만 목표 연령으로 변경하여 생성한다.
• 생성기와 판별기는 표준 minimax GAN 목표함수를 사용하여 ADAM 최적화를 100 에포크 동안 수행하여 훈련한다.
• 이 방법은 픽셀 수준 재구성과 신원 인식 특징 정규화를 결합하여 현실성과 신원 충실도의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 GAN 기반 방법은 목표 연령으로 노화된 실재감 있는 얼굴 이미지를 생성하면서도 원래 사람의 신원을 유지할 수 있는가?
• RQ2 제안된 '신원 유지' 잠재 벡터 최적화는 픽셀 수준 최적화와 비교해 연령 변환 과정에서 신원 유지에 얼마나 효과적인가?
• RQ3 생성된 합성 이미지가 교차 연령 시나리오에서 최신 기술 수준의 얼굴 인식 시스템을 얼마나 효과적으로 속일 수 있는가?
• RQ4 모델은 연령 추정 작업으로 일반화되어 있으며, 합성 출력물이 현실적인 연령 표현을 얼마나 잘 반영하는가?
• RQ5 신원 유지 최적화 방법은 노화 외의 다른 얼굴 속성 조작(예: 액세서리 추가, 턱수염 변경 등)으로도 이식 가능한가?

주요 결과

• '신원 유지' 최적화 방법은 재구성된 이미지에서 얼굴 인식 점수 82.9%를 달성하여 초기 재구성(53.2%)과 픽셀 수준 최적화(59.8%)보다 뚜렷하게 뛰어나다.
• 연령 추정 CNN은 합성 이미지에서 실재 이미지보다 17% 낮은 정확도를 보였으며, 이는 연령 표현의 높은 현실성과 일치한다.
• 시각적 검토 결과, '신원 유지' 방법은 얼굴 구조나 눈 모양과 같은 핵심 신원 특징을 더 잘 유지하는 반면, 픽셀 수준 최적화는 털 색깔 같은 표면적 특징을 더 잘 유지한다.
• 이 방법은 젊은 얼굴을 노령된 외모로, 또는 그 반대로 노화 진행 및 역노화를 성공적으로 생성하였다.
• 모델은 일반화 능력을 보였으며, 실재 이미지만으로 훈련된 연령 추정 모델이 합성 출력물에서도 거의 동일한 성능을 보였다.
• 이유는 보편적인 신원 유지 최적화 프레임워크 덕분으로, 액세서리 추가나 털 자취 변경과 같은 다른 얼굴 속성 조작으로도 이식 가능하다.