[논문 리뷰] High Quality Facial Surface and Texture Synthesis via Generative Adversarial Networks

Ron Slossberg, Gil Shamai외 1명|arXiv (Cornell University)|2018. 08. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 19인용 수 7

한 줄 요약

이 논문은 기하학적 데이터를 2차원 매개변수화된 공간으로 매핑하여 이미지 기반 GAN이 현실적인 텍스처를 생성하게 하고, 이를 다시 학습된 3DMM 계수를 통해 생성된 기하학에 매핑함으로써 고품질의 3D 얼굴 표면과 텍스처를 합성하는 새로운 생성적 적대적 네트워크(GAN)-기반 프레임워크를 제안한다. 이 방법은 훈련 데이터와는 다르게 시각적으로 타당하고 의미적으로 구분되는 새로운 얼굴 정체성을 생성한다.

ABSTRACT

In the past several decades, many attempts have been made to model synthetic realistic geometric data. The goal of such models is to generate plausible 3D geometries and textures. Perhaps the best known of its kind is the linear 3D morphable model (3DMM) for faces. Such models can be found at the core of many computer vision applications such as face reconstruction, recognition and authentication to name just a few. Generative adversarial networks (GANs) have shown great promise in imitating high dimensional data distributions. State of the art GANs are capable of performing tasks such as image to image translation as well as auditory and image signal synthesis, producing novel plausible samples from the data distribution at hand. Geometric data is generally more difficult to process due to the inherent lack of an intrinsic parametrization. By bringing geometric data into an aligned space, we are able to map the data onto a 2D plane using a universal parametrization. This alignment process allows for efficient processing of digitally scanned geometric data via image processing tools. Using this methodology, we propose a novel face synthesis model for generation of realistic facial textures together with their corresponding geometry. A GAN is employed in order to imitate the space of parametrized human textures, while corresponding facial geometries are generated by learning the best 3DMM coefficients for each texture. The generated textures are mapped back onto the corresponding geometries to obtain new generated high resolution 3D faces.

연구 동기 및 목표

• 선형 3D 모양형태 모델(3DMM)의 가우시안 가정과 표현력의 한계로 인해 현실적이지 않은, 비합리적인 얼굴 샘플을 생성하는 데서 기인하는 한계를 해결하기 위해.
• 통합적이고 제어 가능한 프레임워크에서 현실적인 얼굴 기하학과 고해상도 텍스처를 동시에 합성할 수 있도록 하기 위해.
• 3D 스캔의 정렬된 2D 매개변수화된 데이터를 기반으로 훈련된 GAN을 사용하여 사진과 같은 현실감 있는 텍스처를 생성함으로써, 합성 데이터와 진짜 데이터 사이의 도메인 갭을 극복하기 위해.
• 훈련 데이터에 존재하지 않는 새로운 얼굴 정체성을 생성함으로써, 얼굴 인식, 생체 인식 및 컴퓨터 그래픽스 분야의 애플리케이션을 가능하게 하기 위해.
• 데이터 정렬이 가능하다면 얼굴을 초월한 다른 객체 유형에도 적용 가능한 일반화 가능한 파이프라인을 구축하기 위해.

제안 방법

• 일관된 매개변수화를 사용하여 3D 얼굴 스캔을 정렬하여 기하 표면을 2차원 텍스처 평면에 매핑함으로써 이미지 처리 기법을 적용할 수 있도록 한다.
• 2D 매개변수화된 얼굴 텍스처에 대해 GAN을 훈련시어 기저 데이터 분포를 학습하고 새로운 현실적인 텍스처를 생성한다.
• 회귀(예: 최소 제곱법)를 사용하여 각 생성된 텍스처에서 해당 3DMM 계수로의 매핑을 학습함으로써, 기하학이 텍스처의 정체성, 표정 및 인구 통계적 특성과 일치하도록 보장한다.
• 학습된 3DMM 계수를 3DMM 기저에 적용하여 3D 얼굴을 재구성하고, 생성된 텍스처를 결과 기하학에 다시 매핑한다.
• 생성된 샘플의 의미 일致성과 현실감을 유지하기 위해 지각적 손실과 정체성 기반 손실의 조합을 사용한다.
• 데이터 증강과 최소 근접 이웃 분석을 활용하여 생성된 정체성의 다양성과 현실감을 검증한다.

실험 결과

연구 질문

• RQ1 2D 매개변수화된 얼굴 텍스처에 대해 훈련된 GAN이 실존하는 데이터와 시각적으로 구분되지 않는 현실적이고 고해상도의 얼굴 텍스처를 생성할 수 있는가?
• RQ2 학습된 3DMM 계수 매핑을 사용하여 생성된 텍스처에서 3D 얼굴의 기하학을 정확하게 재구성할 수 있는가?
• RQ3 제안된 방법이 훈련 데이터에 존재하지 않는 새로운 얼굴 정체성을 생성하는가, 아니면 기존 샘플들 사이를 단지 내삽하는가?
• RQ4 생성된 얼굴의 분포가 정체성과 기하학적 타당성 측면에서 실제 얼굴의 진짜 분포와 얼마나 유사한가?
• RQ5 데이터 정렬이 가능하다면 이 프레임워크가 다른 객체 유형으로 일반화될 수 있는가?

주요 결과

• 제안된 모델은 실존 스캔와 시각적으로 구분되지 않는 현실적인 텍스처와 기하학을 갖춘 3D 얼굴을 생성한다. 이는 근접한 실존 데이터의 근접 이웃과의 정성적 비교를 통해 확인되었다.
• 최소 근접 이웃 분석 결과, 생성된 정체성이 훈련 데이터 주변에 국한되지 않음을 보여주며, 테스트-페키지 거리가 테스트-훈련 거리보다 낮게 나타나 새로운 정체성 생성을 시사한다.
• 그림 6에서 보여지듯이, 모델는 실존 데이터 샘플 간의 갭을 메우며 실제 얼굴의 정체성 분포를 효과적으로 커버한다.
• 최소 제곱 회귀를 사용한 3DMM 기반 기하학 생성 방법은 낮은 왜곡을 달성하며, 표정, 성별, 인종 등의 텍스처 특성과 일치하는 기하학을 생성한다.
• 정량적 평가 결과, GAN 기반 텍스처 합성은 선형 3DMM보다 더 현실적이고 다양한 샘플을 생성함을 확인하였으며, 이는 가우시안 가정으로 인해 비합리적인 샘플을 자주 생성하는 경향이 있기 때문이다.
• 이 프레임워크는 포즈나 조명에 대한 명시적 제어 없이도 새로운 현실적인 얼굴 정체성을 생성할 수 있으며, 이는 많은 이전 방법들과의 대비에서 두드러진다.