[论文解读] Learning Disentangled Representation for One-shot Progressive Face Swapping

Qi Li, Ning Wang+3 more|arXiv (Cornell University)|Mar 24, 2022

Face recognition and analysis被引用 11

一句话总结

本文提出 FaceSwapper，一种基于 GAN 的一次渐进式人脸替换方法，通过双编码器架构和语义引导融合模块，实现身份与属性表征的解耦。借助语义掩码和面部关键点，仅需每类身份一个源图像和一个目标图像，即可在基准数据集上实现最先进性能，实现可控、逼真的人脸替换，同时提升身份保留度与属性保真度。

ABSTRACT

Although face swapping has attracted much attention in recent years, it remains a challenging problem. Existing methods leverage a large number of data samples to explore the intrinsic properties of face swapping without considering the semantic information of face images. Moreover, the representation of the identity information tends to be fixed, leading to suboptimal face swapping. In this paper, we present a simple yet efficient method named FaceSwapper, for one-shot face swapping based on Generative Adversarial Networks. Our method consists of a disentangled representation module and a semantic-guided fusion module. The disentangled representation module comprises an attribute encoder and an identity encoder, which aims to achieve the disentanglement of the identity and attribute information. The identity encoder is more flexible, and the attribute encoder contains more attribute details than its competitors. Benefiting from the disentangled representation, FaceSwapper can swap face images progressively. In addition, semantic information is introduced into the semantic-guided fusion module to control the swapped region and model the pose and expression more accurately. Experimental results show that our method achieves state-of-the-art results on benchmark datasets with fewer training samples. Our code is publicly available at https://github.com/liqi-casia/FaceSwapper.

研究动机与目标

• 解决每类身份仅提供一张源图像和一张目标图像时的一次人脸替换挑战。
• 提升人脸替换中身份与属性的解耦程度，以增强可控性与真实感。
• 通过仅用少量样本即可有效学习，减少对大规模数据集的依赖。
• 引入语义引导，以在融合过程中实现更准确的姿态与表情建模。
• 实现渐进式人脸替换，以提升多样性与视觉质量。

提出的方法

• 解耦表征模块使用身份编码器和属性编码器，将潜在空间中的身份与属性信息分离。
• 身份编码器设计更具灵活性，可更好地泛化至未见身份。
• 属性编码器比先前方法更有效地保留皱纹、光照变化等细粒度细节。
• 语义引导融合解码器利用面部关键点与语义掩码，控制替换区域并对齐姿态与表情。
• 该方法采用多损失训练目标，包括重建损失、身份保留损失、属性保留损失和对抗损失。
• 该框架端到端可训练，并通过逐步优化生成的人脸图像实现渐进式人脸替换。

实验结果

研究问题

• RQ1 基于 GAN 的方法能否仅用每类身份一张源图像和一张目标图像即实现高质量人脸替换？
• RQ2 在一次设置下，身份与属性表征的解耦效果如何？
• RQ3 语义引导（通过关键点与掩码）在人脸替换过程中对姿态与表情一致性有何作用？
• RQ4 不同损失组件在身份保留与视觉真实感方面分别起到何种贡献？
• RQ5 渐进式人脸替换能否提升一次人脸替换中的多样性与可控性？

主要发现

• FaceSwapper 在 FaceForensics++ 数据集上实现 93.86% 的身份检索得分，优于所有消融变体，确立最先进性能。
• 移除身份保留损失（FS_wo_id）后，身份检索得分骤降至 0.24%，证实其在维持源身份中的关键作用。
• 该方法保持低姿态误差（2.36）与表达误差（2.99），表明对目标面部几何与表情的建模准确。
• 消融研究显示，若不使用对抗损失，姿态误差显著上升至 7.84，凸显其对真实感的重要性。
• 语义引导融合模块显著提升性能：FS-B（无语义掩码）无法保留身份，而 FS-C 损失了目标属性保真度。
• 完整方法在身份保留、属性保真度与真实感之间达到最佳平衡，证实完整损失配置的必要性。