[논문 리뷰] FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

Thomas Leimkühler, George Drettakis|HAL (Le Centre pour la Communication Scientifique Directe)|2021. 09. 20.

Generative Adversarial Networks and Image Synthesis인용 수 5

한 줄 요약

FreeStyleGAN은 학습된 하위공간인 GAN 카메라 다양체를 도입함으로써, 정밀한 3D 카메라 제어를 가능하게 하여 자유 시점, 사진 수준의 초현실적인 초상 렌더링을 가능하게 한다. 소수의 일반적인 다중 시점 이미지를 사용하여, 거친 3D 기하 구조를 재구성하고 카메라를 다양체에 투영한 후, 가장 가까운 다양체 시점으로부터 워핑하여 상호작용 속도로 새로운 시점의 영상을 합성하며, 신원, 표정, 조명 등의 스타일 제어 기능을 유지한다.

ABSTRACT

Current Generative Adversarial Networks (GANs) produce photorealistic renderings of portrait images. Embedding real images into the latent space of such models enables high-level image editing. While recent methods provide considerable semantic control over the (re-)generated images, they can only generate a limited set of viewpoints and cannot explicitly control the camera. Such 3D camera control is required for 3D virtual and mixed reality applications. In our solution, we use a few images of a face to perform 3D reconstruction, and we introduce the notion of the GAN camera manifold, the key element allowing us to precisely define the range of images that the GAN can reproduce in a stable manner. We train a small face-specific neural implicit representation network to map a captured face to this manifold and complement it with a warping scheme to obtain free-viewpoint novel-view synthesis. We show how our approach - due to its precise camera control - enables the integration of a pre-trained StyleGAN into standard 3D rendering pipelines, allowing e.g., stereo rendering or consistent insertion of faces in synthetic 3D environments. Our solution proposes the first truly free-viewpoint rendering of realistic faces at interactive rates, using only a small number of casual photos as input, while simultaneously allowing semantic editing capabilities, such as facial expression or lighting changes.

연구 동기 및 목표

• 사전 훈련된 StyleGAN을 사용하여 정밀한 3D 카메라 제어 기능을 갖춘 사진 수준의 초현실적인 자유 시점 초상 렌더링을 가능하게 하기.
• StyleGAN이 안정적으로 생성할 수 있는 3D 카메라 자세의 하위공간—카메라 다양체를 정의하고 특성화하기.
• GAN으로 생성된 얼굴를 3D 렌더링 파이프라인(예: 스테레오 렌더링, 합성 장면 삽입 등)에 원활하게 통합하기.
• 임의의 카메라 파rameter를 사용하는 새로운 시점 합성과 함께 고해상도 의미적 편집(예: 표정, 조명)을 유지하기.
• 기존의 GAN 기반 초상 렌더링 방법의 한계를 극복하기—즉, 제한된 고정된 시점 집합에 국한되며 명시적인 3D 카메라 제어가 부족함.

제안 방법

• 이 방법은 사전 훈련된 데이터의 정렬 제약(예: 눈과 입의 위치 제약)에 기반하여, StyleGAN이 안정적으로 생성할 수 있는 3D 카메라 자세의 집합으로서 카메라 다양체를 정의한다.
• 주어진 주제의 10~25장의 일반적인 다중 시점 이미지에서 거친 3D 얼굴 메쉬와 校정된 카메라를 재구성한다.
• 소수의 얼굴 전용 신경 은닉 네트워크를 훈련시켜, 다양체 내의 카메라 자세를 StyleGAN의 잠재 공간 내 해당 잠재 코드로 매핑한다.
• 다양체 외부의 새로운 시점에 대해서는, 거친 3D 기하 구조를 활용하여 가장 가까운 다양체 카메라에서의 영상을 목표 시점으로 이동시키는 워핑 기법을 사용한다.
• 다양체와 기하 구조 인식 워핑을 활용하여, 스테레오 및 다중 시점 시퀀스를 포함한 임의의 3D 카메라 자세에서 일관된 렌더링을 가능하게 한다.
• 워핑 과정을 통해 기하 일관성을 유지하면서도, StyleGAN의 잠재 공간을 통한 의미적 편집(예: 나이 증가, 미소)이 가능하도록 지원한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 StyleGAN이 안정적으로 생성할 수 있는 3D 카메라 자세의 내재 하위공간은 무엇이며, 어떻게 정의하고 특성화할 수 있는가?
• RQ2 사전 훈련된 GAN을 사용하여, 제한된 시점 집합 외에도 임의의 3D 카메라 자세에 대해 사진 수준의 초현실적인 초상을 생성할 수 있는가?
• RQ3 소수의 일반적인 촬영 이미지를 사용하여 충분한 3D 기하 구조를 재구성하여 GAN 기반 생성기로 자유 시점 렌더링을 가능하게 할 수 있는가?
• RQ4 임의의 카메라 제어 기능을 갖춘 새로운 시점 합성 과정에서도 StyleGAN의 의미적 편집 기능을 유지할 수 있는가?
• RQ5 카메라 다양체 외부의 시점 합성 시 기하 구조 정확도와 워핑 정확도의 한계는 무엇인가?

주요 결과

• 카메라 다양체는 사전 훈련된 데이터에서 얼굴 특징점(눈, 입)의 정렬 제약에 의해 제약을 받는, StyleGAN이 안정적으로 생성할 수 있는 3D 카메라 자세의 집합으로 정의된다.
• 특수한 촬영 장비가 필요 없이 단지 10~25장의 일반적인 다중 시점 이미지만으로도 상호작용 속도로 자유 시점 초상 렌더링이 가능하다.
• 카메라 자세가 유효한 다양체 범위 내에 있을 경우, 기하 재구성 정확도에 관계없이 렌더링 품질이 일정하며, 파라락스가 발생하지 않는다.
• 다양체 외부의 시점에 대해서는 워핑 기법이 유의미한 새로운 시점을 성공적으로 생성하지만, 거친 기하 구조가 정확하지 않으면 잡음이 발생할 수 있다.
• 이 방법은 스테레오 렌더링 및 일관된 합성 장면 삽입을 포함한 3D 렌더링 파이프라인에 GAN으로 생성된 얼굴를 원활하게 통합할 수 있다.
• 잠재 공간 조작을 통해 StyleGAN의 의미적 편집(예: 표정, 조명)이 모든 합성된 시점에서 완전히 기능하며 유지된다.