[论文解读] FReeNet: Multi-Identity Face Reenactment

Jiangning Zhang, Xianfang Zeng+6 more|arXiv (Cornell University)|May 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 6

一句话总结

FReeNet 提出了一种统一的多身份人脸重演框架，通过潜在关键点空间解耦面部几何与外观。它采用统一关键点转换器（ULC）在不同身份间转移表情，并结合几何感知生成器（GAG）与三元组感知损失，生成逼真且身份一致的结果，在表情迁移与细节保留方面达到最先进性能。

ABSTRACT

This paper presents a novel multi-identity face reenactment framework, named FReeNet, to transfer facial expressions from an arbitrary source face to a target face with a shared model. The proposed FReeNet consists of two parts: Unified Landmark Converter (ULC) and Geometry-aware Generator (GAG). The ULC adopts an encode-decoder architecture to efficiently convert expression in a latent landmark space, which significantly narrows the gap of the face contour between source and target identities. The GAG leverages the converted landmark to reenact the photorealistic image with a reference image of the target person. Moreover, a new triplet perceptual loss is proposed to force the GAG module to learn appearance and geometry information simultaneously, which also enriches facial details of the reenacted images. Further experiments demonstrate the superiority of our approach for generating photorealistic and expression-alike faces, as well as the flexibility for transferring facial expressions between identities.

研究动机与目标

• 解决在单一统一模型中，将任意源身份与目标身份之间的面部表情进行迁移的挑战。
• 克服在表情迁移过程中，源身份与目标身份面部轮廓差异带来的鸿沟问题。
• 实现逼真重演，同时保留身份、姿态、光照与面部细节。
• 通过解耦几何与外观信息，实现对人脸属性的灵活控制。
• 开发一种灵活可扩展的框架，实现无需针对每个目标进行网络微调的多对多人脸重演。

提出的方法

• 使用关键点检测器将人脸嵌入潜在关键点空间，保留几何结构的同时丢弃外观信息。
• 采用编码器-解码器架构实现统一关键点转换器（ULC），在潜在关键点空间中实现身份间表情的迁移。
• 设计几何感知生成器（GAG），融合转换后关键点与参考图像的外观信息，生成逼真输出。
• 提出一种新颖的三元组感知损失，结合三元组损失与感知损失，以解耦外观与几何信息。
• 将 GAG 与三元组感知损失结合，以增强面部细节生成与身份一致性。
• 通过潜在空间中的关键点插值与操作实现控制，支持动态调整面部属性。

实验结果

研究问题

• RQ1 统一的深度学习框架是否能有效实现在无需为每个目标重新训练的情况下，跨多个身份进行面部表情迁移？
• RQ2 当源身份与目标身份面部轮廓不同时，如何在表情迁移过程中保持面部几何结构？
• RQ3 三元组感知损失在多大程度上能提升细节生成质量，并实现外观与几何信息的有效解耦？
• RQ4 模型是否仅通过参考图像即可生成逼真结果并保持身份一致性？
• RQ5 解耦设计在通过关键点编辑实现可控面部属性操作方面有多有效？

主要发现

• ULC 模块显著提升了几何一致性，相比无该模块的模型，SSIM 分数大幅提升。
• 完整 FReeNet 模型在 FID 与 SSIM 指标上达到最先进水平，证明其在逼真度与结构保真度方面的卓越表现。
• 三元组感知（TP）损失使 GAG 能够生成更丰富的面部细节，如皱纹、眉毛与嘴部轮廓。
• 即使参考图像被修改（如添加化妆或噪声），模型仍能保持身份一致性，证实了外观信息的有效解耦。
• 潜在空间中的关键点插值与操作可生成平滑、可控的过渡与属性特异性编辑，验证了解耦设计的有效性。
• 消融实验表明，ULC 与 TP 损失均为高质量重演所必需，两者结合的性能优于单一模块。