[论文解读] HifiFace: 3D Shape and Semantic Prior Guided High Fidelity Face Swapping

Yuhan Wang, Xu Chen+8 more|arXiv (Cornell University)|Jun 18, 2021

Face recognition and analysis参考文献 23被引用 8

一句话总结

HifiFace 提出了一种端到端的深度学习框架，用于高保真人脸替换，通过利用3D形状感知的身份监督和语义面部融合（SFF）模块，保留源人脸的形状并生成照片级真实感结果。通过将3D可变形模型（3DMM）的几何结构与身份特征及自适应特征融合相结合，HifiFace 在野外人脸图像上实现了最先进的身份保留和真实感表现。

ABSTRACT

In this work, we propose a high fidelity face swapping method, called HifiFace, which can well preserve the face shape of the source face and generate photo-realistic results. Unlike other existing face swapping works that only use face recognition model to keep the identity similarity, we propose 3D shape-aware identity to control the face shape with the geometric supervision from 3DMM and 3D face reconstruction method. Meanwhile, we introduce the Semantic Facial Fusion module to optimize the combination of encoder and decoder features and make adaptive blending, which makes the results more photo-realistic. Extensive experiments on faces in the wild demonstrate that our method can preserve better identity, especially on the face shape, and can generate more photo-realistic results than previous state-of-the-art methods.

研究动机与目标

• 为解决在高保真人脸替换中保留源人脸形状的挑战，现有方法因依赖2D关键点或仅纹理识别而难以稳健地实现此目标。
• 通过在统一的端到端框架中解决光照、遮挡和背景一致性问题，提升照片真实感。
• 克服基于混合方法的局限性，这些方法限制了形状迁移，并在源与目标人脸几何结构不同时引入伪影。
• 开发一种联合特征与图像级融合机制，在保留身份的同时适应目标属性（如表情、姿态和光照）。

提出的方法

• 提出一种3D形状感知的身份提取器，结合源脸和目标脸的3DMM系数，生成具有形状信息的身份向量，实现对人脸形状的几何监督。
• 使用3D人脸重建模型回归源脸和目标脸的3DMM系数，然后重新组合以形成用于监督的形状感知表征。
• 提出一种语义面部融合（SFF）模块，通过学习到的人脸掩码自适应融合低级编码器和解码器特征，提升纹理和属性一致性。
• 采用空洞人脸语义分割头，监督自适应混合掩码的生成，实现鲁棒的边缘混合和遮挡处理。
• 采用端到端训练与多损失优化：身份损失、形状损失和感知损失，以平衡身份保真度与真实感。
• 使用SFF模块预测的掩码进行最终混合，避免依赖目标图像掩码，减少鬼影效应和伪影。

实验结果

研究问题

• RQ1 与基于2D关键点或识别的方法相比，3D几何监督是否能显著提升人脸形状保留效果？
• RQ2 在特征和图像两级采用可学习的自适应融合机制，是否能同时提升照片真实感并保持源身份？
• RQ3 所提出的SFF模块在处理形状不匹配和遮挡问题时，与标准混合或拼接方法相比表现如何？
• RQ4 与标准身份向量相比，3D形状感知身份向量在多大程度上减少了形状误差？

主要发现

• HifiFace 在所有对比方法中实现了最低的人脸形状误差（身份系数的L2距离），在大形状变化下，95%的样本形状误差小于FaceShifter。
• 该模型在FF++和DFDC数据集上优于当前最先进方法，在人脸伪造检测基准中实现了最高的真实感评分。
• 消融研究证实，SFF模块显著提升了图像质量和属性一致性，减少了伪影和背景不一致。
• 3D形状感知身份组件至关重要：移除后导致严重形状失真和伪影，证明其在几何保真度中的关键作用。
• SFF模块在形状迁移过程中能有效实现面部边界的图像修复，差异特征图显示形状过渡区域的伪影显著减少。
• HifiFace 在保持更高生成质量的同时比FaceShifter更快，证明其在野外人脸图像上的高效性与可扩展性。