[论文解读] 3D Cartoon Face Generation with Controllable Expressions from a Single GAN Image

Hao Wang, Shen, Wenhao+3 more|arXiv (Cornell University)|Jul 29, 2022

Face recognition and analysis被引用 4

一句话总结

该论文提出了一种基于生成对抗网络（GAN）的新框架，仅通过一张2D GAN生成的人脸图像即可生成3D卡通脸表情动画，且无需3D监督。通过利用解耦的StyleGAN潜在空间操作和优化后的潜在代码偏移量，该方法实现了对表情、姿态和光照的可控控制，实现了高保真度的3D重建，同时保持身份一致性和风格化外观迁移。

ABSTRACT

In this paper, we investigate an open research task of generating 3D cartoon face shapes from single 2D GAN generated human faces and without 3D supervision, where we can also manipulate the facial expressions of the 3D shapes. To this end, we discover the semantic meanings of StyleGAN latent space, such that we are able to produce face images of various expressions, poses, and lighting conditions by controlling the latent codes. Specifically, we first finetune the pretrained StyleGAN face model on the cartoon datasets. By feeding the same latent codes to face and cartoon generation models, we aim to realize the translation from 2D human face images to cartoon styled avatars. We then discover semantic directions of the GAN latent space, in an attempt to change the facial expressions while preserving the original identity. As we do not have any 3D annotations for cartoon faces, we manipulate the latent codes to generate images with different poses and lighting conditions, such that we can reconstruct the 3D cartoon face shapes. We validate the efficacy of our method on three cartoon datasets qualitatively and quantitatively.

研究动机与目标

• 实现仅从一张2D GAN生成的人脸图像生成3D卡通脸，且无需3D标注或多视角数据。
• 在生成的3D头像中实现可控的表情变化，同时保持原始身份和外观特征。
• 通过共享潜在空间表示，弥合2D人脸、风格化卡通图像与重建3D形状之间的语义一致性。
• 开发一种方法，通过在StyleGAN的W空间中优化潜在代码偏移量，实现对表情、姿态和光照的控制。
• 通过在不同视角和光照条件下使用操纵后的潜在代码生成伪样本，展示高质量的3D重建效果。

提出的方法

• 在卡通数据集上微调预训练的StyleGAN模型，以学习人脸与卡通头像之间的共享潜在空间。
• 使用GAN反演技术将真实或GAN生成的2D人脸图像投影到StyleGAN潜在空间W中，实现身份保持的风格化。
• 应用闭式分解（SeFa）以发现用于表情操控的初始潜在代码偏移量。
• 通过人脸身份损失和低级特征损失优化初始偏移量，确保仅发生表情变化，同时保持身份和形状不变。
• 通过操纵潜在代码生成具有不同姿态和光照的伪样本，作为3D重建的监督信号。
• 利用法向图和多视角一致性，通过神经渲染技术重建3D形状。

实验结果

研究问题

• RQ1 能否仅从一张2D GAN生成的人脸图像，在无任何3D监督或标注的情况下重建出3D卡通脸形状？
• RQ2 如何在保持原始身份和外观的前提下，对生成的3D头像实现表情操控？
• RQ3 StyleGAN中解耦潜在空间操作在多大程度上能够实现对2D风格化图像中表情、姿态和光照的控制，以支持下游3D重建？
• RQ4 经过优化的潜在代码偏移量能否有效隔离表情变化，避免与其他语义属性（如身份和发色）的改变产生耦合？
• RQ5 重建的3D形状在不同视角和光照条件下泛化能力如何？表面法向估计的准确性如何？

主要发现

• 该方法成功实现了从单张2D GAN生成的输入图像中生成高保真度的3D卡通脸形状，且无需任何3D监督。
• 经过优化的潜在代码偏移量在保持身份和形状的同时实现了表情操控，与基线SeFa方法相比，显著减少了非预期的语义变化。
• 重建的3D网格保留了细粒度细节，如皱纹、肤色和发质纹理，定性对比结果表明其表现优异。
• 重新光照和多视角渲染结果表明，表面法向图准确，光照变化能有效保留原始面部特征。
• 通过共享潜在空间表示，该框架在2D人脸、风格化卡通图像与3D形状之间实现了稳定的对齐。
• 局限性包括在大角度视角旋转时出现不自然的形变，以及在表情编辑过程中发色仍存在残余变化，表明完全解耦仍具挑战。