[논문 리뷰] StyleUV: Diverse and High-fidelity UV Map Generative Model

Myunggi Lee, Wonwoong Cho외 3명|arXiv (Cornell University)|2020. 11. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 42인용 수 5

한 줄 요약

StyleUV는 학습 중에 실제 UV 맵이 필요하지 않은 GAN 기반 생성 모델로, 3D 얼굴 재구성에 대해 다양하고 고해상도의 UV 맵을 합성한다. 기울기 전파 가능한 렌더러와 전경 실루엣 마스크를 활용하여, 유일하게 실외 이미지에서 학습함으로써, 더 뛰어난 텍스처 현실감과 잠재 공간 내 분리된 의미론적 제어를 달성한다.

ABSTRACT

Reconstructing 3D human faces in the wild with the 3D Morphable Model (3DMM) has become popular in recent years. While most prior work focuses on estimating more robust and accurate geometry, relatively little attention has been paid to improving the quality of the texture model. Meanwhile, with the advent of Generative Adversarial Networks (GANs), there has been great progress in reconstructing realistic 2D images. Recent work demonstrates that GANs trained with abundant high-quality UV maps can produce high-fidelity textures superior to those produced by existing methods. However, acquiring such high-quality UV maps is difficult because they are expensive to acquire, requiring laborious processes to refine. In this work, we present a novel UV map generative model that learns to generate diverse and realistic synthetic UV maps without requiring high-quality UV maps for training. Our proposed framework can be trained solely with in-the-wild images (i.e., UV maps are not required) by leveraging a combination of GANs and a differentiable renderer. Both quantitative and qualitative evaluations demonstrate that our proposed texture model produces more diverse and higher fidelity textures compared to existing methods.

연구 동기 및 목표

• Annotation된 UV 맵의 가용성 부족으로 인해 다양하고 고품질의 3D 얼굴 텍스처 모델이 부족한 문제를 해결한다.
• 선형 3D 모러프릭 모델(3DMM)이 실제이고 다양한 얼굴 외형을 포착하는 데에 한계가 있음을 극복한다.
• 비용이 많이 들고 수작업으로 정제된 UV 맵이 필요하지 않고, 실외 RGB 이미지에서만 학습하는 텍스처 생성 프레임워크를 개발한다.
• 생성된 UV 맵의 잠재 공간에서 분리된 의미론적 제어를 가능하게 한다.
• 기존 3DMM 및 비선형 재구성 프레임워크와 호환되는 즉시 사용 가능한 텍스처 모델을 제공한다.

제안 방법

• 기울기 전파 가능한 렌더러를 사용하여 3D 기하학과 조명에서 이미지 형성 과정을 시뮬레이션하는 StyleGAN-v2 기반 생성기로 UV 맵을 학습한다.
• 배경 잡음 제거 및 품질 향상을 위해 전경 실루엣 마스크를 조건 신호로 도입한다.
• 실제 UV 지도 없이도 렌더링된 이미지에 기반한 GAN 손실을 최적화하여, 종단 간 학습이 가능하도록 한다.
• 일관된 UV 매핑을 위해 사전 정의된 3D 얼굴 템플릿과 3D 파라미터(예: 정체성, 표정, 조명)를 생성기의 입력으로 사용한다.
• 기하학적 투영과 광학적 렌더링을 조합한 기울기 전파 가능한 이미지 형성 함수를 적용하여, 렌더링 파이프라인을 통해 역전파를 수행한다.
• StyleGAN의 스타일 조절 기법을 활용한 잠재 공간의 분리 기능과, 가짜 속성 레이블 기반 선형 SVM을 학습시켜 의미론적 수정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 UV 맵 없이도 GAN 기반 모델이 학습에 사용되지 않는 고해상도이고 다양한 UV 맵을 생성할 수 있는가?
• RQ2 기울기 전파 가능한 렌더링 프레임워크에서 전경 실루엣 마스크를 통합할 경우, 생성된 UV 맵의 품질과 현실감이 어떻게 향상되는가?
• RQ3 생성된 UV 맵의 잠재 공간이 의미론적으로 의미 있는 보간과 속성 수정을 얼마나 잘 지원하는가?
• RQ4 모델이 성별, 인종, 연령 등의 다양성에 대해 명시적인 지도 없이도 일반화 가능한가?
• RQ5 기존 3D 얼굴 재구성 방법과 비교했을 때, 모델의 성능은 텍스처 현실감과 다양성 측면에서 어떻게 평가되는가?

주요 결과

• StyleUV는 아기, 노인, 다양한 인종, 화장이 농후한 사람을 포함한 다양한 얼굴 정체성을 커버하는 사진처럼 생생한 UV 맵을 생성한다.
• 정량적 지표와 정성적 비교를 통해 기존 기준 모델 대비 뛰어난 텍스처 정밀도를 확보한다.
• 실루엣 마스크의 포함으로 인해 생성 품질이 크게 향상되어 배경 잡음이 감소하고 전경 일관성이 향상된다.
• 잠재 공간 보간은 성별 변화나 화장 제거와 같은 의미론적으로 선형적인 전환을 보이며 효과적인 분리 기능을 입증한다.
• 잠재 벡터 기반 선형 SVM을 활용한 의미론적 속성 수정을 통해 생성된 UV 맵에서 성별, 연령, 인종 등의 속성을 제어적으로 편집할 수 있다.
• 모델는 공개적으로 배포되어 기존 3DMM 및 비선형 재구성 파이프라인에 즉시 통합 가능하다.