[논문 리뷰] FaceFeat-GAN: a Two-Stage Approach for Identity-Preserving Face Synthesis

Yujun Shen, Bolei Zhou외 2명|arXiv (Cornell University)|2018. 12. 04.

Face recognition and analysis참고 문헌 37인용 수 29

한 줄 요약

FaceFeat-GAN은 신원 유지 가능한 얼굴 합성의 두 단계 GAN 프레임워크를 제안한다. 먼저 특징 공간에서 다양한 얼굴 특징을 생성하고, 그 특징에서 고해상도 이미지를 렌더링한다. 특징 도메인과 이미지 도메인 양쪽에서 생성자와 판별자 간의 이중 수준 적대적 경쟁을 도입함으로써, 신원 유지, 이미지 품질, 다양성 측면에서 최신 기술 수준의 성능을 달성한다. 사용자 연구 점수 22.4%와 유사도 점수 0.693으로 LFW 및 기타 벤치마크에서 이전 방법들을 능가한다.

ABSTRACT

The advance of Generative Adversarial Networks (GANs) enables realistic face image synthesis. However, synthesizing face images that preserve facial identity as well as have high diversity within each identity remains challenging. To address this problem, we present FaceFeat-GAN, a novel generative model that improves both image quality and diversity by using two stages. Unlike existing single-stage models that map random noise to image directly, our two-stage synthesis includes the first stage of diverse feature generation and the second stage of feature-to-image rendering. The competitions between generators and discriminators are carefully designed in both stages with different objective functions. Specially, in the first stage, they compete in the feature domain to synthesize various facial features rather than images. In the second stage, they compete in the image domain to render photo-realistic images that contain high diversity but preserve identity. Extensive experiments show that FaceFeat-GAN generates images that not only retain identity information but also have high diversity and quality, significantly outperforming previous methods.

연구 동기 및 목표

• 높은 이미지 품질과 높은 다양성을 동시에 확보하는 신원 유지 얼굴 합성의 과제를 해결하기 위해.
• 신원 제약 조건을 강제할 경우 다양성 확보에 어려움을 겪는 단일 단계 GAN의 한계를 극복하기 위해.
• 일对일 매핑을 강제함으로써 다양성이 제한되는 픽셀 수준의 감독 방법의 한계를 개선하기 위해.
• 중간 특징 공간을 이용해 신원 및 속성 변화를 분리된 표현으로 제어할 수 있는지 탐색하기 위해.
• 특징 도메인과 이미지 도메인 양쪽에서 경쟁하는 이중 수준 적대적 훈련 기반 설계를 통해 현실감과 다양성을 향상시키기 위해.

제안 방법

• 모델은 두 단계 아키텍처를 사용한다: 첫째, 여러 특징 생성자 ({G_i^f})가 임의의 노이즈에서 다양한 얼굴 특징(예: 자세, 표정, 연령)을 합성한다.
• 둘째, 이미지 생성자 (G^I)가 결합된 특징 표현을 사용해 사진 수준의 현실감 있는 얼굴 이미지를 생성하며, 정밀도를 확보하기 위해 픽셀 수준의 감독을 사용한다.
• 이중 판별자를 사용한다: D_i^f는 각 G_i^f와 특징 도메인에서 경쟁하여 현실적인 특징 표현을 보장하고, D^I는 G^I와 이미지 도메인에서 경쟁하여 현실감을 확보한다.
• 프레임워크는 네 가지 손실 구성 요소를 포함한다: 신원 손실 (φ_id), 특징 수준의 적대적 손실 (φ^f), 이미지 수준의 적대적 손실 (φ^I), 재구성 손실 (φ_rec).
• 특징 다양성은 특징 도메인에서 GAN 경쟁을 통해 특징 생성자들이 다양한 출력을 생성하도록 훈련시킴으로써 향상되며, 모드 붕괴를 방지한다.
• 모델은 3DMM 기반의 매개변수 표현을 사용하여 신원 및 속성 요소를 분리함으로써 제어 가능한 다양한 얼굴 속성 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 단일 단계 GAN에 비해 두 단계 생성 프레임워크가 신원 유지 얼굴 합성에서 이미지 품질과 다양성 측면에서 향상되는가?
• RQ2 이미지 생성 이전에 특징 도메인에서 경쟁을 통해 다양성이 높아지며 동시에 신원 유지가 가능한가?
• RQ3 두 번째 단계에서 픽셀 수준의 감독이 첫 번째 단계의 다양성에 영향을 주지 않고 효과적으로 적용될 수 있는가?
• RQ4 특징 도메인과 이미지 도메인 양쪽에서의 이중 수준 적대적 훈련이 단일 수준 훈련에 비해 신원 유지 및 현실감 측면에서 어떻게 비교되는가?
• RQ5 분리된 특징 표현이 합성된 얼굴에서 제어 가능한 다양성 있는 속성 변화를 얼마나 잘 가능하게 하는가?

주요 결과

• FaceFeat-GAN은 사용자 연구 점수 22.4%를 기록하여 이전 방법들인 FaceID-GAN(18.0%)과 PIM(19.2%)를 크게 능가한다.
• LFW 데이터셋에서 신원 유지 유사도 점수 0.693을 기록하여 DR-GAN(0.548), FF-GAN(0.592), TP-GAN(0.625)을 초월하며 우수한 신원 유지 능력을 입증한다.
• 다양성 점수 0.63은 실제 특징 분포(영균위, 단위 분산)에 가까워, 모델이 모드 붕괴 없이 매우 다양한 특징을 생성함을 확인한다.
• 제거 실험 결과, 신원 손실 (φ_id)를 제거하면 유사도가 0.246로 감소하여 신원 유지에 필수적임을 입증한다.
• 특징 수준의 적대적 손실 (φ^f)를 제거하면 다양성 점수는 단지 0.05에 불과하여 특징 공간 내 경쟁이 다양성 확보에 필수적임을 입증한다.
• 전체 모델은 재구성 평가에서 사용자 연구 점수 33.2%를 기록하여 높은 이미지 품질을 확인하였으며, 이미지 수준 GAN 또는 재구성 손실 없이 훈련된 모델는 품질이 심각하게 떨어진다.