[论文解读] Fast Face-swap Using Convolutional Neural Networks

Iryna Korshunova, Wenzhe Shi+2 more|arXiv (Cornell University)|Nov 29, 2016

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 9

一句话总结

本文提出了一种用于逼真人脸替换的实时前馈卷积神经网络，可在保留姿态、表情和光照的同时转移身份。通过引入多图像风格损失和光照感知损失函数，该方法仅需一张目标身份的参考图像且无需额外用户输入（除对齐外），即可实现高保真度和接近实时的推理效果。

ABSTRACT

We consider the problem of face swapping in images, where an input identity is transformed into a target identity while preserving pose, facial expression, and lighting. To perform this mapping, we use convolutional neural networks trained to capture the appearance of the target identity from an unstructured collection of his/her photographs.This approach is enabled by framing the face swapping problem in terms of style transfer, where the goal is to render an image in the style of another one. Building on recent advances in this area, we devise a new loss function that enables the network to produce highly photorealistic results. By combining neural networks with simple pre- and post-processing steps, we aim at making face swap work in real-time with no input from the user.

研究动机与目标

• 实现完全自动化的实时人脸替换，同时保留姿态、表情和光照特征。
• 克服先前方法依赖手动对齐、大量用户输入或目标身份图像集合的局限性。
• 通过使用前馈神经网络并结合新颖损失函数，实现逼真结果。
• 将人脸替换问题建模为风格迁移问题，将神经风格迁移扩展至逼真人脸图像。
• 使身份迁移在单张图像输入下具备实用性与可扩展性，并在推理阶段实现极低计算成本。

提出的方法

• 该方法使用多尺度前馈卷积神经网络，通过训练将输入人脸的内容转换为目标人物的身份。
• 提出一种新颖的多图像风格损失，将目标身份的外观建模为流形而非依赖于单张参考图像。
• 增加光照感知损失组件，以确保源图像与生成图像之间光照的一致性。
• 通过人脸关键点检测与仿射变换执行人脸对齐与重对齐，以保持几何一致性。
• 后处理阶段使用学习得到的语义分割掩码，将替换后的人脸无缝融合到原始图像中。
• 网络训练使用VGG-19的特征表示内容与风格，结合L2损失与感知损失以保持真实感。

实验结果

研究问题

• RQ1 前馈神经网络能否在极简用户输入下实现实时逼真人脸替换？
• RQ2 风格迁移技术如何被调整以在保留姿态、表情和光照的同时实现身份保留？
• RQ3 何种损失函数设计可仅基于目标身份的参考图像集合实现高保真度人脸替换？
• RQ4 与单参考图像风格迁移相比，多图像风格损失是否能提升真实感与鲁棒性？
• RQ5 光照感知损失的引入如何增强生成人脸替换图像的一致性？

主要发现

• 所提方法实现接近实时推理，支持低延迟的交互式或视频人脸替换。
• 多图像风格损失通过将目标身份外观建模为分布而非单张图像，显著提升了真实感。
• 引入光照感知损失组件有效减少了生成图像中不自然的光照变化。
• 实验结果表现出高度逼真度，身份转移保留了面部表情、视线方向与姿态，即使在复杂光照条件下亦表现稳定。
• 与以往风格迁移方法相比，该方法在逼真人脸操作任务中表现更优，尤其在处理复杂面部结构与纹理方面优势明显。
• 局限性包括在遮挡区域（如眼镜）出现伪影、在极端姿态下性能下降，以及部分情况下的过度平滑问题。