[논문 리뷰] Geometry-Contrastive GAN for Facial Expression Transfer

Fengchun Qiao, Naiming Yao외 4명|arXiv (Cornell University)|2018. 02. 06.

Face recognition and analysis참고 문헌 24인용 수 51

한 줄 요약

GC-GAN은 대조 학습으로 기하학을 임베딩하여 얼굴 표정에 대한 연속적 의미 잠재 공간을 학습하고, 서로 다른 대상을 넘어 신원 보존된 표현 전이를 가능하게 한다.

ABSTRACT

In this paper, we propose a Geometry-Contrastive Generative Adversarial Network (GC-GAN) for transferring continuous emotions across different subjects. Given an input face with certain emotion and a target facial expression from another subject, GC-GAN can generate an identity-preserving face with the target expression. Geometry information is introduced into cGANs as continuous conditions to guide the generation of facial expressions. In order to handle the misalignment across different subjects or emotions, contrastive learning is used to transform geometry manifold into an embedded semantic manifold of facial expressions. Therefore, the embedded geometry is injected into the latent space of GANs and control the emotion generation effectively. Experimental results demonstrate that our proposed method can be applied in facial expression transfer even there exist big differences in facial shapes and expressions between different subjects.

연구 동기 및 목표

• 대상 간의 연속적인 감정 표현으로 얼굴 표정 전이를 모티브로 삼는다.
• GAN의 표정 합성 가이드를 위한 연속 조건으로 기하학을 도입한다.
• 대조 학습을 이용해 얼굴 기하학을 의미 론적 잠재 공간에 임베딩하여 대상 간 정합성 저하를 줄인다.
• 표현 조건 latent 변수에 대해 생성기의 립시츠 연속성을 보장한다.
• 여러 데이터셋 및 교차 데이터셋 전이를 통한 효과를 보여준다.

제안 방법

• 기하 임베딩 네트워크 E, 이미지 생성기 G, 이미지 판별기 D의 3요소 GC-GAN 도입.
• 대조 학습으로 기하를 임베딩하여 z_g = E_enc(g_k^v)를 얻어 의미 표정 매니폴드를 형성한다.
• 생성기의 입력으로 아이덴티티 잠재 z_i(I_j^u)와 기하 잠재 z_g를 연결하여 립시츠 연속성을 강제한다.
• 동일 표정의 랜드마크를 서로 당기고 다른 표정을 서로 멀리 떨어뜨리기 위한 대조 손실 L_contr로 E를 학습한다.
• 판별자 손실(WGAN-GP)과 재구성 손실(L_ir for images, L_gr for landmarks)을 이용해 G와 E를 함께 학습한다.
• 두 단계로 진행: 먼저 L_contr와 L_gr로 E를 예비 학습, 그다음 E를 고정한 상태에서 G와 D를 L_ir과 L_adv를 최적화하며 학습한다.

실험 결과

연구 질문

• RQ1 연속 기하 임베딩이 신원 보존을 유지한 채 대상 간 표정 전이를 안내할 수 있는가?
• RQ2 얼굴 기하학의 대조 임베딩이 의미적이고 립시츠 연속인 표정 잠재 공간을 만들어 전이 품질을 향상시키는가?
• RQ3 GC-GAN은 다양한 데이터셋과 교차 데이터셋 표정 전이 시나리오에서 어떻게 성능을 보이는가?
• RQ4 재구성 손실과 적대적 손실이 합성 품질과 표현 충실도에 어떤 영향을 미치는가?

주요 결과

• GC-GAN은 임베디드 기하 잠재 공간에 의해 신원 보존된 얼굴 표정 전이를 가능하게 한다.
• L_ir, L_gr, L_contr를 포함시키면 Multi-PIE, CK+, BU-4DFE에서 ablation 및 CDAAE와 같은 기초 방법 대비 SSIM과 PSNR이 향상된다.
• 기하 임베딩은 표현 조건에 대해 립시츠 연속 매핑을 제공하여 부드러운 표정 전이가 가능하게 한다.
• 교차 데이터셋 실험(CelebA가 CelebA 파생 랜드마크를 가이드)은 GC-GAN이 신원을 보존하며 표정을 전이할 수 있음을 보여준다.
• 특정 손실 중 하나를 제거하면 성능이 저하되어 재구성 및 대조 지침의 기여가 중요함을 확인한다.