[논문 리뷰] Global and Local Consistent Age Generative Adversarial Networks

Peipei Li, Yibo Hu외 3명|arXiv (Cornell University)|2018. 01. 25.

Face recognition and analysis참고 문헌 23인용 수 14

한 줄 요약

이 논문은 전역적 얼굴 구조와 국소적 텍스처 변화를 별도의 전역 및 국소 네트워크를 사용하여 핵심 얼굴 하위영역에서 함께 모델링하는 새로운 생성적 적대적 네트워크인 GLCA-GAN을 제안한다. 잔차 얼굴을 학습하고 신원, 연령, 픽셀 단위 손실을 통합함으로써, 다양한 데이터셋과 연령 범위에서 높은 품질의 신원 유지 연령 합성 결과를 달성하며, 현실성과 세부 정보 보존이 향상된다.

ABSTRACT

Age progression/regression is a challenging task due to the complicated and non-linear transformation in human aging process. Many researches have shown that both global and local facial features are essential for face representation, but previous GAN based methods mainly focused on the global feature in age synthesis. To utilize both global and local facial information, we propose a Global and Local Consistent Age Generative Adversarial Network (GLCA-GAN). In our generator, a global network learns the whole facial structure and simulates the aging trend of the whole face, while three crucial facial patches are progressed or regressed by three local networks aiming at imitating subtle changes of crucial facial subregions. To preserve most of the details in age-attribute-irrelevant areas, our generator learns the residual face. Moreover, we employ an identity preserving loss to better preserve the identity information, as well as age preserving loss to enhance the accuracy of age synthesis. A pixel loss is also adopted to preserve detailed facial information of the input face. Our proposed method is evaluated on three face aging datasets, i.e., CACD dataset, Morph dataset and FG-NET dataset. Experimental results show appealing performance of the proposed method by comparing with the state-of-the-art.

연구 동기 및 목표

• 실제 연령 합성에서 신원과 세밀한 얼굴 세부 정보를 유지하는 도전 과제를 해결하기 위해.
• 이전의 GAN 기반 방법들이 전역적 특징에만 초점을 맞추거나 노화 과정에서 미세한 국소적 텍스처 변화를 모델링하지 못하는 한계를 극복하기 위해.
• 완전한 얼굴 이미지를 학습하는 대신 잔차 얼굴을 학습하여 세부 정보 보존과 학습 수렴을 향상시키기 위해.
• 조건부 GAN을 사용하여 통합된 프레임워크 안에서 정확한 연령 진행 및 후퇴를 동시에 달성하기 위해.
• 신원 유지 및 연령 유지 손실을 통해 합성 품질을 향상시키기 위해.

제안 방법

• 생성자는 전반적인 얼굴 구조와 노화 경향을 모델링하기 위한 전역 네트워크와, 눈, 입, 볼 등의 중요한 얼굴 하위영역에서의 텍스처 변화를 처리하기 위한 세 개의 전용 국소 네트워크를 사용한다.
• 입력 이미지와 합성된 얼굴 간의 차이인 잔차 얼굴을 학습하여 학습 속도를 가속화하고 옷과 배경과 같은 연령과 무관한 세부 정보를 유지한다.
• 조건부 GAN 프레임워크를 사용하며, 목표 연령 레이블이 전역 및 국소 입력에 조건부로 설정되어 합성 과정을 안내한다.
• 세 가지 보조 손실이 적용된다: 개인별 특징을 유지하기 위한 신원 유지 손실, 올바른 연령 진행/후퇴를 보장하기 위한 연령 유지 손실, 세밀한 얼굴 세부 정보를 유지하기 위한 픽셀 단위 손실.
• 판별자, 신원 분류기, 연령 분류기가 함께 훈련되어 생성된 얼굴의 현실성과 일관성을 향상시킨다.
• 같은 모델을 사용하여 연령 진행(젊은 사람에서 늙은 사람으로)과 후퇴(늙은 사람에서 젊은 사람으로)를 연령 레이블 조건부로 지원한다.

실험 결과

연구 질문

• RQ1 통합된 GAN 프레임워크가 신원을 유지하면서도 연령 진행과 후퇴를 효과적으로 수행할 수 있는가?
• RQ2 국소적 얼굴 하위영역을 모델링함으로써 전역적 접근에 비해 연령 합성 얼굴의 현실성이 얼마나 향상되는가?
• RQ3 잔차 얼굴을 학습함으로써 세부 정보 보존과 학습 수렴이 얼마나 향상되는가?
• RQ4 신원 유지 및 연령 유지 손실이 합성된 얼굴의 정확성과 품질에 어떤 영향을 미치는가?
• RQ5 자세, 표정, 조명 변화에 대한 변동에 대해 GLCA-GAN은 최신 기술 대비 어떻게 성능을 발휘하는가?

주요 결과

• Morph 데이터셋에서 GLCA-GAN은 연령 후퇴(aged2 클러스터)에 대해 랭크-1 얼굴 인식 정확도 99.64%를 달성하여 강력한 신원 유지 능력을 보였다.
• 연령 진행에 있어서 aged1 클러스터에서 랭크-1 정확도 97.66%를 유지하여 큰 연령 격차가 있는 상황에서도 강력한 신원 유지 능력을 입증했다.
• 절단 실험 결과 전역 네트워크만을 사용할 경우 텍스처 합성 품질이 떨어지는 것으로 나타나, 세 개의 국소 네트워크가 미세한 노화 변화를 포착하는 데 효과적임을 확인했다.
• 시각적 비교 결과 GLCA-GAN은 헤어, 수염, 주름 전환 등에서 더 현실적인 결과를 생성했으며, HFA, FT demo, CDL, RFA, CAAE, C-GAN 등과 비교해 우수한 성능을 보였다.
• 기존 방법들과 달리 배경과 옷의 세부 정보를 효과적으로 유지했다.
• 자세, 표정, 조명 변화에 걸쳐 일관되고 부드러운 노화 전이를 보였으며, 강력한 내성성을 입증했다.