Skip to main content
QUICK REVIEW

[论文解读] AlphaFace: High Fidelity and Real-time Face Swapper Robust to Facial Pose

Jongmin Yu, Hyeontaek Oh|arXiv (Cornell University)|Jan 23, 2026
Face recognition and analysisComputer Science被引用 0
一句话总结

AlphaFace 是一种实时人脸交换方法,利用视觉-语言模型监督和跨自适应身份注入实现高保真度和对极端面部姿态的鲁棒性。

ABSTRACT

Existing face-swapping methods often deliver competitive results in constrained settings but exhibit substantial quality degradation when handling extreme facial poses. To improve facial pose robustness, explicit geometric features are applied, but this approach remains problematic since it introduces additional dependencies and increases computational cost. Diffusion-based methods have achieved remarkable results; however, they are impractical for real-time processing. We introduce AlphaFace, which leverages an open-source vision-language model and CLIP image and text embeddings to apply novel visual and textual semantic contrastive losses. AlphaFace enables stronger identity representation and more precise attribute preservation, all while maintaining real-time performance. Comprehensive experiments across FF++, MPIE, and LPFF demonstrate that AlphaFace surpasses state-of-the-art methods in pose-challenging cases. The project is publicly available on `https://github.com/andrewyu90/Alphaface_Official.git'.

研究动机与目标

  • 在超越近前视角的大姿态变化下,推动鲁棒的脸部身份交换。
  • 开发一个实时框架,在忠实转移源身份的同时保持目标属性。
  • 在训练中利用 CLIP 图像/文本编码器强化语义引导的视觉-语言模型监督。
  • 引入新颖的身份注入模块,以更好地将源身份与目标潜在特征对齐。

提出的方法

  • 将 ArcFace 作为源身份编码器以提取身份特征。
  • 引入 Cross-Adaptive Identity Injection (CAII) 通过 AdaIN 与残差连接将源身份与目标潜在特征融合。
  • 以身份交换损失、属性保持损失(重建、循环和感知)、对抗损失,以及基于 CLIP 的对比损失(CLIP-文本和 CLIP-ID)进行训练。
  • 利用视觉-语言模型生成目标属性描述,并应用 CLIP 图像/文本对比损失以强化语义对齐。
  • 通过保持 GAN/自编码器风格架构、无显式几何先验或扩散过程,维持实时推理。

实验结果

研究问题

  • RQ1AlphaFace 在极端头部姿态下是否能在保持高身份保真度的同时保持目标姿态与表情?
  • RQ2整合 VLM 派生的语义监督(CLIP-文本与 CLIP-ID)是否提升姿态鲁棒性与边界保真度?
  • RQ3提出的 CAII 模块是否比传统单向注入更好地将源身份与目标潜在空间对齐?
  • RQ4在标准基准上,身份保持、姿态/表情精度与推理速度之间有哪些权衡?
  • RQ5相较于扩散基与几何先验方法,AlphaFace 在姿态多样数据集上的表现如何?

主要发现

  • 在 FF++ 上身份保持强,ID 取回率为 98.77,MPIE 的 CSIM 为 0.471。
  • 在 FF++ 的姿态误差降至 1.24,MPIE 为 2.97;表情误差分别为 2.03 与 3.03。
  • FID 分数为 FF++ 的 2.71、MPIE 的 7.78,显示出具有竞争力的保真度。
  • AlphaFace 以每张图像 24.1 ms 的速度运行,在保持高质量交换的同时超越若干 SOTA 方法的速度。
  • 消融研究表明 CLIP 基于文本与身份的损失共同实现了身份、姿态与表情指标的最佳平衡。
  • 相对于单向身份注入,CAII 在 FF++ 与 MPIE 上提供更好的姿态/表情对齐与更低的 FID。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。