[论文解读] Synthesizing facial photometries and corresponding geometries using generative adversarial networks

Gil Shamai, Ron Slossberg+1 more|arXiv (Cornell University)|Jan 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 30被引用 6

一句话总结

本文提出了一种基于生成对抗网络（GAN）的框架，通过使用保持一致性的畸变控制映射，将几何表面映射到二维图像，从而合成逼真的三维人脸几何形状和对应纹理，使标准卷积神经网络能够应用。该方法联合生成光照和几何细节，同时保持其相关性，实现了高保真度和对未见身份的良好泛化能力，在分布相似性和特征保真度方面优于三维形态模型（3DMM）。

ABSTRACT

Artificial data synthesis is currently a well studied topic with useful applications in data science, computer vision, graphics and many other fields. Generating realistic data is especially challenging since human perception is highly sensitive to non realistic appearance. In recent times, new levels of realism have been achieved by advances in GAN training procedures and architectures. These successful models, however, are tuned mostly for use with regularly sampled data such as images, audio and video. Despite the successful application of the architecture on these types of media, applying the same tools to geometric data poses a far greater challenge. The study of geometric deep learning is still a debated issue within the academic community as the lack of intrinsic parametrization inherent to geometric objects prohibits the direct use of convolutional filters, a main building block of today's machine learning systems. In this paper we propose a new method for generating realistic human facial geometries coupled with overlayed textures. We circumvent the parametrization issue by imposing a global mapping from our data to the unit rectangle. We further discuss how to design such a mapping to control the mapping distortion and conserve area within the mapped image. By representing geometric textures and geometries as images, we are able to use advanced GAN methodologies to generate new geometries. We address the often neglected topic of relation between texture and geometry and propose to use this correlation to match between generated textures and their corresponding geometries. We offer a new method for training GAN models on partially corrupted data. Finally, we provide empirical evidence demonstrating our generative model's ability to produce examples of new identities independent from the training data while maintaining a high level of realism, two traits that are often at odds.

研究动机与目标

• 为解决人类感知对外观与形状之间不一致的高度敏感性，联合生成逼真的三维人脸几何形状和纹理。
• 克服由于三维流形缺乏内在参数化而导致卷积神经网络（CNN）在几何数据上应用受限的问题。
• 建模人脸纹理与几何之间的内在关联，以确保生成样本中外观与形状的真实耦合。
• 通过引入污染掩码机制，使模型能够从部分损坏的数据中进行训练，将可用数据量提高约20%。
• 在保持真实感的同时，生成训练数据中未出现的多样化、高保真度人脸身份。

提出的方法

• 使用保持一致性的、对畸变敏感的参数化方法，将三维人脸表面映射到二维图像，以最小化眼睛、嘴巴等高细节区域的误差。
• 将纹理和几何均表示为单位矩形上的二维图像，以支持标准卷积神经网络处理。
• 训练一个生成器，学习纹理与几何图像联合分布的GAN，使用判别器来强制实现真实感。
• 在训练过程中引入污染掩码，使模型能够从部分损坏的数据中学习，提升数据效率。
• 使用共享的保持一致性映射，确保生成的纹理与几何在空间和结构上保持对齐。
• 利用三维形态模型（3DMM）作为几何先验，通过生成系数或将其用作重建的基础。

实验结果

研究问题

• RQ1 从三维人脸几何到二维图像的保持一致性映射，是否能在保持几何保真度的同时，实现有效的基于GAN的合成？
• RQ2 如何建模人脸纹理与几何之间的关联，以提升生成人脸的真实感？
• RQ3 在映射后的几何数据上训练的GAN，是否能泛化到生成训练集中未见的新身份？
• RQ4 该模型在不降低性能的前提下，能在多大程度上处理部分损坏的训练数据？
• RQ5 在分布相似性和特征真实感方面，该方法与3DMM相比表现如何？

主要发现

• 所提方法在平均分辨率下，真实与生成纹理图像之间的切片Wasserstein距离（SWD）为17.67，显著优于主成分分析（PCA）的99.08，并接近真实数据的3.16。
• 对于几何部分，生成图像与真实图像之间的SWD为20.61，而PCA为65.61，真实数据为3.15，表明形状合成具有极强的真实感。
• 在身份分布相似性方面，该模型优于3DMM：在训练集上SWD为35.82（本方法）对比59.88（3DMM），在测试集上为62.09对比75.3。
• 保持一致的映射有效降低了高细节区域（如眼睛、鼻子）的畸变，同时将畸变扩散到不那么关键的区域，从而保留了精细纹理细节。
• 污染掩码技术使可用训练数据量提高了约20%，增强了模型对数据采集误差的鲁棒性。
• 定性评估表明，生成的人脸具有多样性、逼真性，且纹理与几何之间表现出合理的耦合关系，未出现训练数据中的重复身份。