[论文解读] Face-to-Parameter Translation for Game Character Auto-Creation

Tianyang Shi, Yi Yuan+4 more|arXiv (Cornell University)|Sep 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 10

一句话总结

本文提出了一种从单张人脸照片自动创建游戏角色的面部到参数（F2P）转换方法，利用可微分的生成模仿器，即使在游戏引擎渲染不可微的情况下，也能实现基于梯度的面部参数优化。该方法在整体外观和局部面部细节方面均实现了高度相似性，在用户研究中获得了50.26%的选择率，并已部署于服务超过100万用户的实时游戏中。

ABSTRACT

Character customization system is an important component in Role-Playing Games (RPGs), where players are allowed to edit the facial appearance of their in-game characters with their own preferences rather than using default templates. This paper proposes a method for automatically creating in-game characters of players according to an input face photo. We formulate the above "artistic creation" process under a facial similarity measurement and parameter searching paradigm by solving an optimization problem over a large set of physically meaningful facial parameters. To effectively minimize the distance between the created face and the real one, two loss functions, i.e. a "discriminative loss" and a "facial content loss", are specifically designed. As the rendering process of a game engine is not differentiable, a generative network is further introduced as an "imitator" to imitate the physical behavior of the game engine so that the proposed method can be implemented under a neural style transfer framework and the parameters can be optimized by gradient descent. Experimental results demonstrate that our method achieves a high degree of generation similarity between the input face photo and the created in-game character in terms of both global appearance and local details. Our method has been deployed in a new game last year and has now been used by players over 1 million times.

研究动机与目标

• 为解决角色扮演游戏（RPG）中耗时的手动角色定制问题，实现基于玩家人脸照片的自动游戏中角色创建。
• 将角色创建建模为在具有物理意义的面部参数空间中的搜索问题，确保与游戏引擎的兼容性。
• 通过引入可训练的生成模仿器，克服游戏引擎渲染过程的不可微性。
• 通过设计两种专用损失函数——判别性损失用于整体外观，面部内容损失用于局部细节——提升生成质量。
• 通过支持用户交互，实现在初始自动生成后对生成参数进行微调。

提出的方法

• 该方法将游戏角色自动生成建模为在大量具有物理意义的面部参数上的优化问题，以匹配输入的人脸照片。
• 一个生成网络 $ G $ 充当‘模仿器’，近似非可微的游戏引擎渲染过程，从而支持端到端反向传播与梯度下降优化。
• 引入两种损失函数：用于整体面部外观相似性的判别性损失 $ \mathcal{L}_1 $，以及用于局部细节保留的面部内容损失 $ \mathcal{L}_2 $，两者均基于深度卷积神经网络（CNN）特征。
• 整个流程通过多任务学习以端到端方式训练，实现从原始输入图像直接优化面部参数。
• 该方法支持用户交互，允许在初始自动生成步骤后对生成参数进行可选微调。
• 模仿器在包含输入人脸照片及其对应渲染游戏角色图像的数据集上进行训练，以学习从参数到视觉输出的映射。

实验结果

研究问题

• RQ1 是否可以通过可训练的模仿器网络，利用深度学习有效优化不可微的游戏引擎渲染过程？
• RQ2 如何在与游戏引擎兼容且具有物理意义的参数空间中测量并优化面部相似性？
• RQ3 判别性损失与面部内容损失在多大程度上提升了生成游戏角色的真实感与细节保真度？
• RQ4 该方法在保留面部语义的前提下，能否泛化至非照片输入（如素描和漫画）？
• RQ5 与现有的神经风格迁移和3D人脸重建技术相比，所提出的F2P转换方法在质量与效率方面表现如何？

主要发现

• 在用户偏好研究中，该方法相较于其他方法获得了50.26%的选择率，显著优于仅使用单一损失函数的方法。
• 消融实验证实，判别性损失 $ \mathcal{L}_1 $ 与面部内容损失 $ \mathcal{L}_2 $ 均不可或缺，二者结合时用户偏好度最高。
• 在定量评估中，该方法取得了1.1418 ± 0.0049的模式分数（Mode Score）与0.0390 ± 0.0018的Fréchet Inception距离（FID），优于全局风格方法（FID: 0.0677）与局部风格方法（FID: 0.0554）。
• 该方法在TITAN Xp上运行耗时16秒，优于局部风格迁移方法（43秒），且与更快的方法相当，同时实现了更优的风格相似性。
• 该方法对图像模糊与光照变化表现出鲁棒性，在多种输入条件下均能保持高质量生成。
• 该方法成功从艺术肖像（如素描与漫画）生成了逼真的游戏角色，表明其因基于语义层面的相似性度量，具备强大的非照片输入泛化能力。