[论文解读] Controllable Descendant Face Synthesis

Yong Zhang, Le Li+4 more|arXiv (Cornell University)|Feb 26, 2020

Face recognition and analysis参考文献 43被引用 5

一句话总结

本文提出了一种新颖的生成式框架，用于可控的后代人脸合成，通过使用继承模块来建模双亲到单个子女的面部组件相似性，以及通过属性增强模块来实现年龄和性别控制。该方法在图像质量、亲缘关系验证准确率（61.88%）和用户研究结果方面均达到最先进水平，即使在训练过程中未使用真实后代人脸作为监督信号。

ABSTRACT

Kinship face synthesis is an interesting topic raised to answer questions like "what will your future children look like?". Published approaches to this topic are limited. Most of the existing methods train models for one-versus-one kin relation, which only consider one parent face and one child face by directly using an auto-encoder without any explicit control over the resemblance of the synthesized face to the parent face. In this paper, we propose a novel method for controllable descendant face synthesis, which models two-versus-one kin relation between two parent faces and one child face. Our model consists of an inheritance module and an attribute enhancement module, where the former is designed for accurate control over the resemblance between the synthesized face and parent faces, and the latter is designed for control over age and gender. As there is no large scale database with father-mother-child kinship annotation, we propose an effective strategy to train the model without using the ground truth descendant faces. No carefully designed image pairs are required for learning except only age and gender labels of training faces. We conduct comprehensive experimental evaluations on three public benchmark databases, which demonstrates encouraging results.

研究动机与目标

• 解决现有单亲到单子女亲缘人脸合成方法在面部相似性、年龄和性别控制方面能力不足的问题。
• 建模双亲人脸与单个子女人脸之间的双对一亲缘关系，捕捉互补的遗传信息。
• 通过提出一种使用低质量合成人脸和组件交换策略的数据增强方法，克服大规模父亲-母亲-子女三元组数据集稀缺的挑战。
• 实现在合成后代人脸中对人脸组件遗传、年龄和性别的显式、解耦控制。
• 通过在基准数据库上的定性、定量和用户研究分析，对方法进行全面评估。

提出的方法

• 该框架由两个端到端可训练的模块组成：继承模块通过使用包含五个二进制位（左眼/眉、右眼/眉、鼻子、嘴巴、轮廓）的控制向量，实现对父母人脸面部组件相似性的控制。
• 属性增强模块通过条件输入年龄阶段（0–5，6–15，16–45，>45）和性别标签，控制年龄和性别。
• 采用组件交换策略生成低质量的合成人脸以实现数据增强，弥补真实后代人脸标注的缺失。
• 模型训练过程中无需真实后代人脸，仅依赖父母人脸的年龄和性别标签。
• 继承模块通过指定各面部组件的遗传来源，确保每对父母人脸唯一映射到一个子女人脸，从而缓解一对夫妻可能有多个子女所带来的歧义问题。
• 采用生成对抗网络（GANs）联合训练模型，继承模块与属性模块实现端到端优化。

实验结果

研究问题

• RQ1 通过建模双亲到单子女的亲缘关系，而非单亲到单子女的关系，深度生成模型能否有效合成逼真的后代人脸？
• RQ2 在不依赖真实后代人脸数据的前提下，能否在合成的人脸中实现对人脸组件遗传、年龄和性别的显式控制？
• RQ3 与基于单亲的合成方法（如KPFE和KinshipGAN）相比，所提方法在图像质量和亲缘关系保真度方面表现如何？
• RQ4 在人脸验证任务中，合成的人脸在多大程度上可与父母人脸区分开来？
• RQ5 人类用户在合成人脸中的面部组件遗传准确性、年龄估计和性别识别方面，感知效果如何？

主要发现

• 在TSKinFace数据集上，所提方法实现了61.88%的亲缘关系验证准确率，显著优于KPFE（42.97%）和KinshipGAN（24.69%），证明了其强大的亲缘关系保真度。
• 在用户研究中，97.2%的参与者正确识别出面部组件来自哪位父母，表明模型在捕捉遗传相似性方面具有极高准确性。
• 在四个年龄阶段的年龄排序任务中，方法达到了91.6%的准确率，表明对年龄演进过程具有有效控制能力。
• 性别识别准确率为88.8%，证实模型在合成人脸中保持了正确的性别属性。
• 人脸验证模型（VGG-Face、Microsoft、Amazon）在区分合成人脸与父母人脸时准确率较低（9.0–22.0%），表明生成的人脸与父母明显不同但具有高度真实性。
• 定性结果表明，图像质量更优，轮廓和面部组件的多样性更高，且相比竞争方法更接近真实样本。