[논문 리뷰] Learning Face Age Progression: A Pyramid Architecture of GANs

Hongyu Yang, Di Huang외 2명|arXiv (Cornell University)|2017. 11. 28.

Face recognition and analysis참고 문헌 39인용 수 16

한 줄 요약

이 논문은 고해상도 노화 세부 정보 합성을 향상시키면서도 정체성을 유지하는 데 목표를 둔 피라미드 판별자 기반의 새로운 GAN 기반 얼굴 노화 진행 방법을 제안한다. 복합 손실 함수를 통해 노화 정확도와 정체성 유지성을 동시에 최적화함으로써, 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 자세, 표정, 메이크업 변화에 대해 더욱 사실감 있고 강건한 성능을 보인다.

ABSTRACT

The two underlying requirements of face age progression, i.e. aging accuracy and identity permanence, are not well studied in the literature. In this paper, we present a novel generative adversarial network based approach. It separately models the constraints for the intrinsic subject-specific characteristics and the age-specific facial changes with respect to the elapsed time, ensuring that the generated faces present desired aging effects while simultaneously keeping personalized properties stable. Further, to generate more lifelike facial details, high-level age-specific features conveyed by the synthesized face are estimated by a pyramidal adversarial discriminator at multiple scales, which simulates the aging effects in a finer manner. The proposed method is applicable to diverse face samples in the presence of variations in pose, expression, makeup, etc., and remarkably vivid aging effects are achieved. Both visual fidelity and quantitative evaluations show that the approach advances the state-of-the-art.

연구 동기 및 목표

• 얼굴 노화 진행에서 노화 정확도와 정체성 유지라는 이중 과제를 해결한다.
• 기존 GAN 기반 방법들이 정체성 안정성보다는 노화 변환을 우선시하는 한계를 극복한다.
• 다중 스케일에서 고수준의 노화 특징을 모델링하여 사실감 있는 노화 세부 정보를 향상시킨다.
• 학습 시 동일 개인의 쌍체 연령 시퀀스가 필요로 하지 않도록 데이터 밀도 추정을 활용함으로써 이를 제거한다.
• 기존 연구에서 간과되는 경향이 있는 이마 및 헤어 레이아웃 영역을 생성 과정에 포함시켜 현실감을 향상시킨다.

제안 방법

• 개인별 및 연령별 얼굴 특징을 별도로 모델링하면서도, CNN 기반 생성자로 연령 변환을 학습한다.
• 픽셀 수준의 L2 손실, 노화의 현실감을 위한 GAN 손실, 고수준 특징 임bedding을 통한 정체성 손실을 병합한 복합 학습 비평가를 활용한다.
• 다중 스케일에서 연령 관련 특징을 추정하는 피라미드 구조의 판별자를 도입하여 노화 세부 정보를 정교화한다.
• 얼굴 인식 및 연령 추정 네트워크를 활용해 생성자가 정체성을 유지하고 연령 특화된 변화를 적용하도록 이끈다.
• 동일 개인의 연령 그룹 간 쌍체 데이터가 필요로 하지 않으며, 대신 목표 연령 클러스터 별로 데이터 밀도를 모델링한다.
• 오직 두 개의 학습 지점만을 사용하는 동공 랜드마크 기반 정렬을 수행하여 전처리 부담을 감소시킨다.

실험 결과

연구 질문

• RQ1 GAN 기반 프레임워크는 얼굴 노화 진행에서 높은 노화 정확도와 강력한 정체성 유지력을 동시에 달성할 수 있는가?
• RQ2 단일 스케일 판별자와 비교해 피라미드 구조의 판별자가 노화 세부 정보의 현실감과 해상도를 어떻게 향상시키는가?
• RQ3 생성 과정에 이마 및 헤어 영역을 포함시킬 경우, 인식된 연령 정확도는 어느 정도 향상되는가?
• RQ4 쌍체 학습 데이터가 필요로 하지 않더라도, 자세, 표정, 메이크업 변화에 대해 일반화 가능한가?
• RQ5 정량적 및 정성적 측면에서 최신 기술 수준의 접근법과 비교해 볼 때, 노화의 현실감과 정체성 충실도 측면에서 본 방법은 어떻게 비교되는가?

주요 결과

• 제안된 방법은 MORPH 데이터셋에서 평균 절대 오차(MAE) 0.79년, CACD 데이터셋에서 0.50년을 기록하여, 단일 경로 판별자 방법(각각 2.69년 및 2.52년 MAE)보다 뚜렷이 뛰어난 성능을 보였다.
• 인간 평가 결과, 1,380개의 쌍 비교 중 69.78%가 기존 방법보다 제안된 방법을 선호하여, 시각적 품질이 뛰어나다는 것을 시사했다.
• 피라미드 판별자는 가시적으로 그림자 아티팩트를 감소시키고 주름 및 노화 세부 정보의 선명도를 향상시켰으며, 그림 8에서 확인할 수 있었다.
• 자세, 표정, 메이크업 변화에 대해 강건한 성능을 보이며, 다양한 테스트 조건에서도 일관된 결과를 기록했다.
• FG-NET, MORPH, CACD 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 딥러닝 기반 및 Agingbooth, Face of the Future와 같은 상용 도구를 모두 능가했다.
• 정렬에 오직 두 개의 랜드마크 점만 필요로 하며, 개인 내 연령 순서 데이터가 필요로 하지 않아 데이터 수집 부담이 감소했다.