[论文解读] High Quality Facial Surface and Texture Synthesis via Generative Adversarial Networks

Ron Slossberg, Gil Shamai+1 more|arXiv (Cornell University)|Aug 24, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 7

一句话总结

本文提出了一种基于生成对抗网络（GAN）的新框架，通过将几何数据映射到二维参数化空间，实现高质量3D面部表面与纹理的合成，使基于图像的GAN能够生成逼真的纹理，再将其映射回通过学习的3DMM系数生成的几何结构上。该方法生成了新颖、逼真的面部身份，既在视觉上合理，又在语义上与训练数据明显不同。

ABSTRACT

In the past several decades, many attempts have been made to model synthetic realistic geometric data. The goal of such models is to generate plausible 3D geometries and textures. Perhaps the best known of its kind is the linear 3D morphable model (3DMM) for faces. Such models can be found at the core of many computer vision applications such as face reconstruction, recognition and authentication to name just a few. Generative adversarial networks (GANs) have shown great promise in imitating high dimensional data distributions. State of the art GANs are capable of performing tasks such as image to image translation as well as auditory and image signal synthesis, producing novel plausible samples from the data distribution at hand. Geometric data is generally more difficult to process due to the inherent lack of an intrinsic parametrization. By bringing geometric data into an aligned space, we are able to map the data onto a 2D plane using a universal parametrization. This alignment process allows for efficient processing of digitally scanned geometric data via image processing tools. Using this methodology, we propose a novel face synthesis model for generation of realistic facial textures together with their corresponding geometry. A GAN is employed in order to imitate the space of parametrized human textures, while corresponding facial geometries are generated by learning the best 3DMM coefficients for each texture. The generated textures are mapped back onto the corresponding geometries to obtain new generated high resolution 3D faces.

研究动机与目标

• 解决线性3D形态可变形模型（3DMM）在生成逼真、非不合理的面部样本时的局限性，原因在于高斯假设和表达能力有限。
• 在统一且可控的框架中实现逼真面部几何与高分辨率纹理的合成。
• 通过在对齐的3D扫描2D参数化图像上训练GAN，生成逼真纹理，从而弥合合成数据与真实数据之间的领域差距。
• 生成训练数据中不存在的新颖面部身份，适用于人脸识别、生物识别与计算机图形学等应用。
• 建立一种可泛化的3D形状与纹理合成流程，适用于除人脸以外的其他对象类别，前提是数据对齐可行。

提出的方法

• 使用通用参数化方法对3D面部扫描进行对齐，将几何表面映射到2D纹理平面，以支持图像处理技术。
• 在2D参数化面部纹理上训练GAN，以学习潜在数据分布并生成新的逼真纹理。
• 通过回归（例如最小二乘法）学习从每张生成纹理到其对应3DMM系数的映射，确保几何结构与纹理的身份、表情及人口统计属性一致。
• 通过将学习到的3DMM系数应用于3DMM基底，重建3D人脸，然后将生成的纹理重新映射到生成的几何结构上。
• 结合感知损失与基于身份的损失，以保持生成样本的语义一致性和逼真度。
• 利用数据增强与最近邻分析验证生成身份的多样性与真实性。

实验结果

研究问题

• RQ1 在2D参数化面部纹理上训练的GAN能否生成在视觉上与真实数据无法区分的逼真、高保真面部纹理？
• RQ2 能否通过学习的3DMM系数映射，从生成的纹理中准确重建3D人脸的几何结构？
• RQ3 所提出的方法是否生成了训练数据中不存在的新颖面部身份，而非仅在已有样本之间进行插值？
• RQ4 在身份与几何合理性方面，生成人脸的分布与真实人脸的真实分布相比如何？
• RQ5 该框架是否能在数据对齐可行的前提下，推广至其他物体类别？

主要发现

• 所提出的模型生成的3D人脸具有逼真的纹理与几何结构，经与最近邻真实扫描的定性比较，其视觉效果与真实扫描无法区分。
• 最近邻分析表明，生成的身份并未局限于训练数据附近，测试样本到生成样本的距离低于测试样本到训练样本的距离，表明实现了新颖身份的生成。
• 模型成功覆盖了真实人脸的身份分布，在嵌入空间中填补了真实数据样本之间的空隙，如图6所示。
• 基于3DMM的几何结构生成方法，采用最小二乘回归，实现了低失真，并生成与纹理属性（如表情、性别、种族）一致的几何结构。
• 定量评估证实，基于GAN的纹理合成生成的样本比线性3DMM更逼真且更具多样性，后者常因高斯假设而生成不合理的样本。
• 该框架能够在无需显式控制姿态或光照的条件下，合成新颖且合理的面部身份，这与许多先前方法不同。