[논문 리뷰] 3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image

Hao Wang, Shen, Wenhao외 3명|arXiv (Cornell University)|2022. 07. 29.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 3D 감독 없이 단일 2D GAN 생성 인간 얼굴 이미지에서 3D 코미カル한 얼굴 아바타를 생성하기 위한 새로운 GAN 기반 프레임워크를 제안한다. 분리된 StyleGAN 잠재 공간 조작과 최적화된 잠재 코드 오프셋을 활용하여, 얼굴 표정, 자세, 조명을 제어 가능하게 하며, 정체성 유지 및 스타일화된 외관 전달을 통해 고해상도 3D 재구성 성능을 달성한다.

ABSTRACT

In this paper, we investigate an open research task of generating 3D cartoon face shapes from single 2D GAN generated human faces and without 3D supervision, where we can also manipulate the facial expressions of the 3D shapes. To this end, we discover the semantic meanings of StyleGAN latent space, such that we are able to produce face images of various expressions, poses, and lighting conditions by controlling the latent codes. Specifically, we first finetune the pretrained StyleGAN face model on the cartoon datasets. By feeding the same latent codes to face and cartoon generation models, we aim to realize the translation from 2D human face images to cartoon styled avatars. We then discover semantic directions of the GAN latent space, in an attempt to change the facial expressions while preserving the original identity. As we do not have any 3D annotations for cartoon faces, we manipulate the latent codes to generate images with different poses and lighting conditions, such that we can reconstruct the 3D cartoon face shapes. We validate the efficacy of our method on three cartoon datasets qualitatively and quantitatively.

연구 동기 및 목표

• 3D 애너테이션이나 다중 시점 데이터 없이도 단일 2D GAN 생성 인간 얼굴 이미지에서 3D 코미컬한 얼굴 생성을 가능하게 하기 위해.
• 기존 정체성과 외관을 유지하면서 생성된 3D 아바타에서 제어 가능한 얼굴 표정을 달성하기 위해.
• 공통된 잠재 공간 표현을 통해 2D 인간 얼굴, 스타일화된 코미カル한 이미지, 재구성된 3D 형태 간의 의미 일致성 다루기 위해.
• StyleGAN의 W 공간에서 최적화된 잠재 코드 오프셋을 통해 표정, 자세, 조명 조작을 가능하게 하는 방법 개발하기 위해.
• 다양한 시점과 조명 조건에서 변형된 잠재 코드로부터 생성된 가짜 샘플을 활용해 고품질 3D 재구성 성능 입증하기 위해.

제안 방법

• 사람 얼굴과 코미컬한 아바타 간의 공통 잠재 공간을 학습하기 위해 코미컬 데이터셋으로 미세조정된 사전 학습된 StyleGAN 모델 사용.
• 실제 또는 GAN 생성 2D 인간 얼굴을 StyleGAN 잠재 공간 W에 투영하기 위해 GAN 역전파 적용 — 정체성 유지 스타일라이제이션 가능.
• 표면 표정 조작을 위한 초기 잠재 코드 오프셋을 발견하기 위해 폐쇄형 분해(SeFa) 적용.
• 정체성 손실 및 저수준 특징 손실을 사용해 초깃값 오프셋 최적화 — 정체성과 형태 유지하면서 오직 표정 변화만 보장.
• 다양한 자세와 조명을 가진 가짜 샘플 생성을 위해 잠재 코드 조작 — 3D 재구성의 지도 신호로 활용.
• 노말 매핑과 다중 시점 일致성 활용해 변형된 2D 이미지에서 신경 렌더링을 통해 3D 형태 재구성.

실험 결과

연구 질문

• RQ1 3D 감독이나 애너테이션 없이도 단일 2D GAN 생성 인간 얼굴 이미지에서 3D 코미컬한 얼굴 형태를 재구성할 수 있는가?
• RQ2 기존 정체성과 외관을 유지하면서 생성된 3D 아바타에서 얼굴 표정을 어떻게 조작할 수 있는가?
• RQ3 StyleGAN의 분리된 잠재 공간 조작이 2D 스타일라이제이션 이미지에서 표정, 자세, 조명 제어를 얼마나 잘 가능하게 하는가?
• RQ4 최적화된 잠재 코드 오프셋이 정체성, 털색 등 다른 의미적 속성과 분리하여 표정 변화만 효과적으로 격리할 수 있는가?
• RQ5 재구성된 3D 형태는 다양한 시점과 조명 조건에서 얼마나 잘 일반화되는가? 표면 노말 추정은 얼마나 정확한가?

주요 결과

• 이 방법은 3D 감독 없이도 단일 2D GAN 생성 입력 이미지에서 고해상도 3D 코미컬한 얼굴 형태를 성공적으로 생성한다.
• 최적화된 잠재 코드 오프셋은 정체성과 형태 유지하면서 표정 조작을 가능하게 하며, 기준선 SeFa 대비 의도하지 않은 의미적 변화를 줄인다.
• 정성적 비교에서 주름, 피부 색소, 털 질감과 같은 세밀한 디테일이 재구성된 3D 메시에 그대로 유지됨.
• 조명 재설정 및 다중 시점 렌더링 결과에서 정확한 표면 노말 매핑을 보이며, 조명 변화 시에도 원래 얼굴 특징 유지됨.
• 공통된 잠재 공간 표현을 통해 2D 인간 얼굴, 스타일화된 코미컬한 이미지, 3D 형태 간 일관된 정렬 달성.
• 한계점으로는 큰 시점 회전에서 비자연스러운 왜곡과 표정 편집 시 털 색상 잔여 변화가 관찰되어 완벽한 분리가 어려운 점 확인.