[论文解读] FreeStyleGAN: Free-view Editable Portrait Rendering with the Camera Manifold

Thomas Leimkühler, George Drettakis|HAL (Le Centre pour la Communication Scientifique Directe)|Sep 20, 2021

Generative Adversarial Networks and Image Synthesis被引用 5

一句话总结

FreeStyleGAN 通过引入 GAN 相机流形——一个风格 GAN 可靠生成的相机位姿学习子空间——实现了具有精确 3D 相机控制的自由视角、逼真人像渲染。仅需几张随意拍摄的多视角图像，它即可重建粗略的 3D 几何结构，将相机投影到流形上，并从最近似的流形视角进行图像扭曲，从而以交互式速度合成新视角，同时保留了风格 GAN 在身份、表情和光照方面的语义编辑能力。

ABSTRACT

Current Generative Adversarial Networks (GANs) produce photorealistic renderings of portrait images. Embedding real images into the latent space of such models enables high-level image editing. While recent methods provide considerable semantic control over the (re-)generated images, they can only generate a limited set of viewpoints and cannot explicitly control the camera. Such 3D camera control is required for 3D virtual and mixed reality applications. In our solution, we use a few images of a face to perform 3D reconstruction, and we introduce the notion of the GAN camera manifold, the key element allowing us to precisely define the range of images that the GAN can reproduce in a stable manner. We train a small face-specific neural implicit representation network to map a captured face to this manifold and complement it with a warping scheme to obtain free-viewpoint novel-view synthesis. We show how our approach - due to its precise camera control - enables the integration of a pre-trained StyleGAN into standard 3D rendering pipelines, allowing e.g., stereo rendering or consistent insertion of faces in synthetic 3D environments. Our solution proposes the first truly free-viewpoint rendering of realistic faces at interactive rates, using only a small number of casual photos as input, while simultaneously allowing semantic editing capabilities, such as facial expression or lighting changes.

研究动机与目标

• 通过预训练的风格 GAN 实现具有精确 3D 相机控制的逼真人像自由视角渲染。
• 定义并表征风格 GAN 可稳健生成的 3D 相机位姿子空间——提出相机流形。
• 实现 GAN 生成的人脸与 3D 渲染管线（如立体渲染和合成场景插入）的无缝集成。
• 在支持任意相机参数的新型视角合成的同时，保持高保真度的语义编辑能力（如表情、光照）。
• 克服现有基于 GAN 的人像方法的局限性，即受限于少量固定视角且缺乏显式的 3D 相机控制。

提出的方法

• 该方法将相机流形定义为风格 GAN 可稳定生成的 3D 相机位姿集合，其依据是训练数据中对齐约束（如眼睛和嘴的位置约束）。
• 从 10–25 张随意拍摄的被试多视角图像中，重建粗略的 3D 人脸网格和标定后的相机参数。
• 训练一个小型、面向人脸的神经隐式网络，将流形上的相机映射到风格 GAN 的潜在空间中的对应潜在码。
• 对于位于流形之外的新视角，采用一种扭曲方案，利用粗略的 3D 几何结构将图像从最近的流形相机转移到目标视角。
• 通过利用流形和几何感知扭曲，该方法能够在包括立体和多视角序列在内的任意 3D 相机位姿下实现一致的渲染。
• 系统通过风格 GAN 的潜在空间支持语义编辑（如变老、微笑），同时借助扭曲过程保持几何一致性。

实验结果

研究问题

• RQ1 预训练的风格 GAN 可靠生成的 3D 相机位姿内在子空间是什么？如何定义并表征该子空间？
• RQ2 如何利用预训练的 GAN 为任意 3D 相机位姿生成逼真人像，而不仅限于有限的几个视角？
• RQ3 能否仅用少量随意拍摄的图像重建出足够精确的 3D 几何结构，以实现基于 GAN 的自由视角渲染？
• RQ4 在支持任意相机控制的新型视角合成过程中，如何保持风格 GAN 的语义编辑能力？
• RQ5 在合成流形之外的视角时，几何保真度和扭曲准确性的局限性是什么？

主要发现

• 相机流形被定义为风格 GAN 可稳定生成的 3D 相机位姿集合，其受训练数据中面部关键点（眼睛、嘴）对齐的约束。
• 该方法仅需 10–25 张随意拍摄的图像，即可实现以交互速度进行自由视角人像渲染，无需特殊采集设置。
• 当相机位于有效流形范围内时，渲染质量与几何重建保真度无关，因为不会引入视差。
• 对于流形之外的视角，扭曲方案成功生成了合理的新型视角，但若粗略几何结构不准确，可能出现伪影。
• 该方法可实现 GAN 生成的人脸与 3D 渲染管线的无缝集成，包括立体渲染和在合成场景中的一致插入。
• 语义编辑（如表情、光照）保持完全可用，并且由于在风格 GAN 潜在空间中进行操作，所有合成视角均保持一致。