[论文解读] Geometry Guided Adversarial Facial Expression Synthesis

Lingxiao Song, Zhihe Lu+3 more|arXiv (Cornell University)|Dec 10, 2017

Face recognition and analysis被引用 16

一句话总结

本文提出G2-GAN，一种基于几何引导的生成对抗网络，通过将面部特征点转换为热图作为条件输入，实现逼真且保持身份特征的面部表情合成。该方法联合训练两个GAN子网络，分别用于表情合成与去除，形成循环一致性映射，从而实现表情迁移与最先进的表达不变人脸识别性能，在CK+和Oulu-CASIA数据集上表现优异。

ABSTRACT

Facial expression synthesis has drawn much attention in the field of computer graphics and pattern recognition. It has been widely used in face animation and recognition. However, it is still challenging due to the high-level semantic presence of large and non-linear face geometry variations. This paper proposes a Geometry-Guided Generative Adversarial Network (G2-GAN) for photo-realistic and identity-preserving facial expression synthesis. We employ facial geometry (fiducial points) as a controllable condition to guide facial texture synthesis with specific expression. A pair of generative adversarial subnetworks are jointly trained towards opposite tasks: expression removal and expression synthesis. The paired networks form a mapping cycle between neutral expression and arbitrary expressions, which also facilitate other applications such as face transfer and expression invariant face recognition. Experimental results show that our method can generate compelling perceptual results on various facial expression synthesis databases. An expression invariant face recognition experiment is also performed to further show the advantages of our proposed method.

研究动机与目标

• 解决在精细控制表情强度与类型的前提下，生成高保真度且保持身份特征的面部表情的挑战。
• 克服现有基于GAN的方法在面部几何控制方面缺乏精确性，且常产生模糊或低分辨率输出的局限性。
• 通过循环一致性框架，实现双向面部编辑——表情合成与表情去除。
• 通过所提出的去除模型将面部表情归一化为中性状态，从而提升表达不变的人脸识别性能。
• 通过引入个体特定的面部几何建模，实现在表情迁移过程中保留独特的身份特征。

提出的方法

• 该方法使用面部特征点的热图表示作为条件输入，以引导表情合成与去除生成器。
• 联合训练两个对抗性子网络：一个用于从中性面孔生成目标表情，另一个用于去除表情以恢复中性面孔。
• 应用循环一致性损失，确保先执行表情去除再执行表情合成可恢复原始输入，从而增强特征与身份的保持。
• 采用身份保持损失，通过潜在空间中的特征级约束，确保在表情变化过程中保持主体的身份特征。
• 学习个体特定的形状模型，以表示和操作面部几何，实现个性化表情编辑与插值。
• 该框架通过双子网络支持表情迁移、插值以及表达不变的人脸识别等应用。

实验结果

研究问题

• RQ1 以特征点热图表示的面部几何，能否有效引导逼真且保持身份特征的面部表情合成？
• RQ2 表情合成与去除之间的循环一致性训练，在多大程度上提升了生成面部图像的质量与一致性？
• RQ3 所提出的方法在多大程度上实现了对表情强度与类型的精细控制，例如能否准确区分微笑与惊讶表情？
• RQ4 表情去除子网络能否作为表达不变人脸识别的有效归一化模块？
• RQ5 个体特定的面部几何建模在多大程度上提升了面部表情迁移的逼真度与身份保持能力？

主要发现

• 在CK+数据集上，G2-GAN模型在TAR@FAR=1%条件下，使用VGG-Face的Rank-1识别率达到97.26%，使用Light CNN则达到100.00%，优于原始配置。
• 在Oulu-CASIA数据集上，模型在TAR@FAR=1%条件下，使用VGG-Face的Rank-1率达到97.84%，使用Light CNN则达到99.88%，展现出强大的表达不变识别性能。
• 消融实验表明，若移除循环一致性损失（$L_{cyc}$）或身份损失（$L_{identity}$），性能显著下降，证实二者对鲁棒表情编辑的必要性。
• 该模型成功生成了幸福与惊讶表情下不同的嘴部形变，包括仅在微笑表情中真实呈现牙齿，表明对面部细节具有精细控制能力。
• 表情插值结果在CK+上实现七种类别的平滑过渡，在Oulu-CASIA上实现六种类别的平滑过渡，证实该方法能生成具有一致身份的中间表情。
• 该框架实现了在任意表情与主体之间有效进行面部表情迁移，其有效性通过两个数据集上的定性与定量结果得到验证。