[论文解读] Geometry-Contrastive Generative Adversarial Network for Facial Expression Synthesis

Fengchun Qiao, Naiming Yao+4 more|arXiv (Cornell University)|Feb 6, 2018

Face recognition and analysis参考文献 10被引用 25

一句话总结

本文提出GC-GAN，一种几何对比生成对抗网络，通过对比学习学习一种几何感知的语义流形，从面部关键点输入生成保持身份特征的面部表情。该方法通过几何插值实现平滑的表情过渡，并在不同面部形状间实现鲁棒的表情迁移。

ABSTRACT

In this paper, we propose a geometry-contrastive generative adversarial network GC-GAN for generating facial expression images conditioned on geometry information. Specifically, given an input face and a target expression designated by a set of facial landmarks, an identity-preserving face can be generated guided by the target expression. In order to embed facial geometry onto a semantic manifold, we incorporate contrastive learning into conditional GANs. Experiment results demonstrate that the manifold is sensitive to the changes of facial geometry both globally and locally. Benefited from the semantic manifold, dynamic smooth transitions between different facial expressions are exhibited via geometry interpolation. Furthermore, our method can also be applied in facial expression transfer even there exist big differences in face shape between target faces and driving faces.

研究动机与目标

• 解决从稀疏几何线索（如面部关键点）生成逼真且保持身份特征的面部表情的挑战。
• 通过学习解耦的、对几何敏感的语义流形，改进面部表情合成，以捕捉整体和局部的面部形状变化。
• 通过在几何嵌入的潜在空间中插值，实现在表情之间的动态平滑过渡。
• 在驱动人脸与目标人脸在形状上存在显著差异时，提升面部表情迁移的鲁棒性。

提出的方法

• 将对比学习整合到条件生成对抗网络中，以在解耦的语义流形中嵌入面部几何信息。
• 使用面部关键点作为条件输入，引导生成器生成保持身份特征且具有目标表情的面部图像。
• 通过对比潜在空间中正面对（例如，相似表情）与负面对（例如，不同表情）的面部几何，学习对比表示。
• 采用孪生网络架构，基于几何编码表示之间的特征相似性计算对比损失。
• 通过在学习到的语义流形中线性插值几何编码，实现表情插值。
• 通过利用嵌入几何信息的流形，即使在驱动人脸与目标人脸存在较大形状差异时，仍支持表情迁移。

实验结果

研究问题

• RQ1 对比学习能否有效将面部几何嵌入到解耦的语义流形中，以支持面部表情合成？
• RQ2 所学习的几何感知流形是否支持面部表情之间的平滑且动态的过渡？
• RQ3 该模型能否在面部形状差异显著的情况下泛化至面部表情迁移？
• RQ4 几何信息与对比学习的结合如何提升表情生成质量与身份保持能力？

主要发现

• 所学习的语义流形对面部几何的全局和局部变化均敏感，从而实现精确的表情控制。
• 通过在几何嵌入的潜在空间中插值，实现了面部表情之间的动态平滑过渡。
• 即使目标表情在外观空间中远离源表情，该模型仍能生成高保真度且保持身份特征的面部表情。
• 该方法在不同面部形状间表现出鲁棒的表情迁移能力，在泛化性能上优于基线方法。