[논문 리뷰] Face Synthesis with Landmark Points from Generative Adversarial Networks and Inverse Latent Space Mapping

Shabab Bazrafkan, Hossein Javidnia외 1명|arXiv (Cornell University)|2018. 02. 01.

Face recognition and analysis참고 문헌 17인용 수 7

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)와 역 잠재 공간 매핑을 사용하여 해당 얼굴 랜드마크 점을 갖춘 얼굴 이미지를 합성하는 새로운 프레임워크를 제안한다. CelebA 데이터셋에서 BEGAN 기반 생성자 모델을 훈련하고, 얼굴 이미지에서 잠재 벡터로의 역매핑을 학습함으로써, 잠재 공간에서의 샘플링을 통해 합성된 얼굴-랜드마크 쌍을 생성함으로써 데이터 증강을 가능하게 하였으며, 잠재 공간 내부의 보간 및 랜드마크 예측에서 유망한 성능을 달성하였다.

ABSTRACT

Facial landmarks refer to the localization of fundamental facial points on face images. There have been a tremendous amount of attempts to detect these points from facial images however, there has never been an attempt to synthesize a random face and generate its corresponding facial landmarks. This paper presents a framework for augmenting a dataset in a latent Z-space and applied to the regression problem of generating a corresponding set of landmarks from a 2D facial dataset. The BEGAN framework has been used to train a face generator from CelebA database. The inverse of the generator is implemented using an Adam optimizer to generate the latent vector corresponding to each facial image, and a lightweight deep neural network is trained to map latent Z-space vectors to the landmark space. Initial results are promising and provide a generic methodology to augment annotated image datasets with additional intermediate samples.

연구 동기 및 목표

• 실제로 얼굴 이미지를 동시에 합성하고 해당 얼굴 랜드마크 주석을 생성할 수 있는 방법의 부족을 해결하기 위해.
• 잠재 공간에서 추가적인 얼굴-랜드마크 쌍을 생성함으로써 데이터 증강을 가능하게 하는 프레임워크를 개발하기 위해.
• 학습된 GAN 생성자의 잠재 Z-공간에서 얼굴 랜드마크 공간으로의 매핑을 수립하여 후속 회귀 작업을 위한 기반을 마련하기 위해.
• 역 잠재 공간 최적화와 딥 네트워크를 활용하여 합성된 얼굴에서 정확한 랜드마크 예측을 수행할 수 있는지 탐색하기 위해.

제안 방법

• 고품질의 얼굴 이미지를 이미지 공간에서 생성하기 위해 BEGAN GAN을 CelebA 데이터셋에서 훈련한다.
• 실제 얼굴 이미지에 대응하는 잠재 벡터 Z를 복원하기 위해 Adam 최적화기를 사용하여 역매핑을 구현한다.
• 잠재 Z-벡터에서 2차원 얼굴 랜드마크 좌표로의 회귀를 수행하기 위해 경량의 딥 네트워크를 훈련한다.
• 학습된 생성자와 역매핑을 활용하여 잠재 공간에서의 샘플링을 통해 새로운 얼굴-랜드마크 쌍을 합성한다.
• 일관된 랜드마크 주석을 갖춘 중간 샘플을 생성함으로써 데이터 증강을 가능하게 하는 프레임워크를 제공한다.
• 생성된 이미지와 실제 이미지 간의 재구성 오차를 최소화하기 위해 역 잠재 공간 매핑을 반복적으로 최적화한다.

실험 결과

연구 질문

• RQ1 GAN 기반 얼굴 생성자 모델을 사용하여 실제와 유사한 얼굴 이미지와 해당 랜드마크를 함께 합성할 수 있는가?
• RQ2 미리 훈련된 GAN의 잠재 공간으로의 얼굴 이미지에서의 역매핑을 학습하는 것이 가능한가?
• RQ3 딥 네트워크가 잠재 벡터에서 정확한 얼굴 랜드마크 좌표로의 매핑을 효과적으로 수행할 수 있는가?
• RQ4 이 프레임워크는 얼마나 효과적으로 합성 데이터 생성을 통해 주석이 달린 얼굴 데이터셋을 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 훈련된 BEGAN 생성자를 사용하여 실제와 유사한 얼굴 이미지와 해당 랜드마크 점을 성공적으로 합성하였다.
• Adam 최적화를 통한 역 잠재 공간 매핑을 통해 실제 얼굴 이미지에서 정확한 잠재 벡터 복원이 가능하였다.
• 훈련된 회귀 네트워크는 잠재 벡터에서 신뢰할 수 있는 랜드마크 예측을 달성하여 이 매핑의 실현 가능성을 입증하였다.
• 초기 결과에서는 이 프레임워크가 다양하고 자연스러운 얼굴-랜드마크 쌍을 생성할 수 있었으며, 데이터 증강에 기여하는 것으로 나타났다.
• 이 방법은 중간 단계의 합성 샘플을 포함한 얼굴 이미지 데이터셋을 보완하는 일반적인 방법론을 제공한다.