[논문 리뷰] Generate Identity-Preserving Faces by Generative Adversarial Networks

Zhigang Li, Yupin Luo|arXiv (Cornell University)|2017. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 5인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 얼굴 생성기와 FaceNet을 사용하여 정체성을 유지하는 고품질의 얼굴 이미지를 생성하는 GAN 기반 프레임워크를 제안한다. 이 방법은 탐욕적 탐색과 벡터 산술을 활용하여 정체성을 유지하면서 다양한 얼굴 특징을 생성하며, 평균 FaceNet 거리 점수 0.64와 0.60을 기록하여 실존하는 동일 인물 쌍보다 정체성 유사도에서 뛰어난 성능을 달성한다.

ABSTRACT

Generating identity-preserving faces aims to generate various face images keeping the same identity given a target face image. Although considerable generative models have been developed in recent years, it is still challenging to simultaneously acquire high quality of facial images and preserve the identity. Here we propose a compelling method using generative adversarial networks (GAN). Concretely, we leverage the generator of trained GAN to generate plausible faces and FaceNet as an identity-similarity discriminator to ensure the identity. Experimental results show that our method is qualified to generate both plausible and identity-preserving faces with high quality. In addition, our method provides a universal framework which can be realized in various ways by combining different face generators and identity-similarity discriminator.

연구 동기 및 목표

• 목표 인물의 정체성을 유지하면서 고품질의 얼굴 이미지를 생성하는 데 도전하는 것.
• VAE(흐릿한 출력)와 표준 GAN(정체성 손실)의 한계를 극복하여 정체성 유지 얼굴 생성을 향상시키는 것.
• 어떤 얼굴 생성기와 어떤 정체성 유사도 판별기라도 결합할 수 있는 일반화된 프레임워크를 개발하는 것.
• 표정, 안경, 자세와 같은 다양한 얼굴 특징을 생성하면서도 정체성 일관성을 유지하는 것.

제안 방법

• 고품질의 얼굴 이미지를 생성하기 위해 사전 훈련된 DCGAN의 생성기 기능을 활용한다.
• 생성된 얼굴이 목표 정체성과 일치하는지 보장하기 위해 FaceNet을 정체성-유사도 측정 지표로 활용한다.
• 목표 이미지와의 정체성 유사도를 최대화하는 데 최적의 입력을 찾기 위해 잠재 벡터에 대한 탐욕적 탐색 전략을 적용한다.
• 최적의 잠재 벡터에서부터 잠재 공간 내의 벡터 산술을 사용하여 다양한 얼굴 특징(예: 열린/닫힌 입, 안경, 자세)을 생성한다.
• 두 단계 최적화 과정을 도입한다: 고정된 단계 크기로 초기 탐색을 수행한 후, 적응형 학습률을 사용한 정밀 조정을 수행한다.
• 다양한 얼굴 생성기와 정체성-유사도 측정 지표를 상호 교환 가능하게 하여 프레임워크를 일반화한다.

실험 결과

연구 질문

• RQ1 GAN 기반 생성기가 목표 인물의 정체성을 유지하면서 고품질의 얼굴 이미지를 생성할 수 있는가?
• RQ2 정체성 전용 손실 함수에 의존하지 않고도 이미지 생성 중 정체성 유사도를 효과적으로 강제로 유지할 수 있는가?
• RQ3 잠재 공간 내의 벡터 산술을 통해 다양한 얼굴 특징을 생성하면서도 정체성 일관성을 유지할 수 있는가?
• RQ4 제안된 프레임워크는 다양한 얼굴 생성기와 정체성-유사도 측정 지표에 대해 일반화 가능한가?

주요 결과

• 이 방법은 최소한의 흐릿함을 보이며 고품질의 정체성 유지 얼굴 이미지를 생성하여 VAE 기반 접근법을 능가한다.
• 두 실험에서 생성된 얼굴과 목표 이미지 간의 평균 FaceNet 거리는 각각 0.64와 0.60이었으며, 강력한 정체성 유지 능력을 시사한다.
• 생성된 얼굴의 정체성 유사도는 실존하는 동일 인물 쌍과 유사했으며, 그 평균 거리는 0.74였다.
• 프레임워크는 일반화 가능하며, 다양한 생성기와 정체성-유사도 측정 지표에 쉽게 적용할 수 있다.
• 잠재 벡터에 대한 탐욕적 탐색이 정체성과 유사한 얼굴을 생성하는 입력을 성공적으로 식별했다.