[논문 리뷰] Geometry-Contrastive Generative Adversarial Network for Facial Expression Synthesis

Fengchun Qiao, Naiming Yao외 4명|arXiv (Cornell University)|2018. 02. 06.

Face recognition and analysis참고 문헌 10인용 수 25

한 줄 요약

이 논문은 얼굴 랜드마크 입력에서 신원을 유지하는 표정을 생성하기 위해 대비 학습을 통한 기하학적 인식 의미 다양체를 학습하는 기하학적 대비 GAN인 GC-GAN을 제안한다. 이 방법은 기하학적 보간을 통해 부드러운 표정 전환을 가능하게 하며, 다양한 얼굴 형태 간의 강력한 표정 전이를 달성한다.

ABSTRACT

In this paper, we propose a geometry-contrastive generative adversarial network GC-GAN for generating facial expression images conditioned on geometry information. Specifically, given an input face and a target expression designated by a set of facial landmarks, an identity-preserving face can be generated guided by the target expression. In order to embed facial geometry onto a semantic manifold, we incorporate contrastive learning into conditional GANs. Experiment results demonstrate that the manifold is sensitive to the changes of facial geometry both globally and locally. Benefited from the semantic manifold, dynamic smooth transitions between different facial expressions are exhibited via geometry interpolation. Furthermore, our method can also be applied in facial expression transfer even there exist big differences in face shape between target faces and driving faces.

연구 동기 및 목표

• 희소 기하학적 신호(예: 얼굴 랜드마크)로부터 현실적이고 신원을 유지하는 표정을 생성하는 데 도전하는 문제를 해결하기 위해.
• 전체 및 국소적 얼굴 형태 변화를 모두 포착하는 분리된, 기하학적 민감도를 갖춘 의미 다원체를 학습하여 표정 합성 품질을 향상시키기 위해.
• 기하학적 잠재 공간에서의 보간을 통해 표정 간의 동적이고 부드러운 전환을 가능하게 하기 위해.
• 원본 및 대상 얼굴의 형태가 상당히 다를 경우에도 표정 전이의 강건성을 향상시키기 위해.

제안 방법

• 조건부 GAN에 대비 학습을 통합하여 얼굴 기하학을 분리된 의미 다원체에 통합하기 위해.
• 생성자에게 목표 표정을 갖는 신원을 유지하는 얼굴 이미지를 생성하도록 유도하기 위해 얼굴 랜드마크를 조건 입력으로 사용하기 위해.
• 잠재 공간에서 유사한 표정(예: 양성 쌍)과 다른 표정(예: 음성 쌍) 간의 대비를 통해 대비 표현을 학습하기 위해.
• 기하학적 인코딩된 표현 간의 특징 유사도를 기반으로 대비 손실을 계산하기 위해 시아미즈 네트워크 아키텍처를 활용하기 위해.
• 학습된 의미 다원체 내에서 기하학적 코드 간 선형 보간을 통해 표정 보간을 가능하게 하기 위해.
• 기하학적 잠재 다원체를 활용하여 드라이빙 및 타겟 얼굴 간의 큰 형태 차이가 있는 경우에도 표정 전이를 지원하기 위해.

실험 결과

연구 질문

• RQ1 대비 학습이 표정 합성을 위한 분리된 의미 다원체에 얼굴 기하학을 효과적으로 통합할 수 있는가?
• RQ2 학습된 기하학적 민감도를 갖춘 다원체가 표정 간의 부드럽고 동적인 전환을 지원하는가?
• RQ3 모델은 형태의 차이가 상당한 얼굴 간의 표정 전이에 일반화되는가?
• RQ4 기하학과 대비 학습의 통합이 표정 생성 품질과 신원 유지에 어떻게 기여하는가?

주요 결과

• 학습된 의미 다원체는 전체 및 국소적 얼굴 기하학의 변화에 민감하여 정밀한 표정 제어를 가능하게 한다.
• 기하학적으로 잠재된 공간에서의 보간을 통해 표정 간의 동적이고 부드러운 전환이 달성된다.
• 목표 표정이 외관 공간에서 원천과 멀리 떨어져 있더라도 고해상도이고 신원을 유지하는 표정을 생성한다.
• 다양한 얼굴 형태 간의 표정 전이에서 강건성을 입증하며, 일반화 능력에서 기준 모델들을 능가한다.