[论文解读] High Fidelity Face Manipulation with Extreme Poses and Expressions

Chaoyou Fu, Yibo Hu+4 more|arXiv (Cornell University)|Mar 28, 2019

Face recognition and analysis参考文献 74被引用 9

一句话总结

本文提出了一种两阶段框架，用于在极高分辨率（最高6000×4000）下对极端姿态和表情进行高保真人脸操作。首先，通过使用姿态和表情估计器的半监督条件编码器-解码器网络预测人脸边界图像，然后在潜在空间中利用代理网络和特征阈值损失分离结构与纹理，实现了在新收集的MVF-HQ数据集上的最先进结果。

ABSTRACT

Face manipulation has shown remarkable advances with the flourish of Generative Adversarial Networks. However, due to the difficulties of controlling structures and textures, it is challenging to model poses and expressions simultaneously, especially for the extreme manipulation at high-resolution. In this paper, we propose a novel framework that simplifies face manipulation into two correlated stages: a boundary prediction stage and a disentangled face synthesis stage. The first stage models poses and expressions jointly via boundary images. Specifically, a conditional encoder-decoder network is employed to predict the boundary image of the target face in a semi-supervised way. Pose and expression estimators are introduced to improve the prediction performance. In the second stage, the predicted boundary image and the input face image are encoded into the structure and the texture latent space by two encoder networks, respectively. A proxy network and a feature threshold loss are further imposed to disentangle the latent space. Furthermore, due to the lack of high-resolution face manipulation databases to verify the effectiveness of our method, we collect a new high-quality Multi-View Face (MVF-HQ) database. It contains 120,283 images at 6000x4000 resolution from 479 identities with diverse poses, expressions, and illuminations. MVF-HQ is much larger in scale and much higher in resolution than publicly available high-resolution face manipulation databases. We will release MVF-HQ soon to push forward the advance of face manipulation. Qualitative and quantitative experiments on four databases show that our method dramatically improves the synthesis quality.

研究动机与目标

• 为解决在极端姿态和表情下高分辨率人脸操作的挑战，现有方法因结构-纹理解耦效果差而失效。
• 克服当前图像到图像转换和结构引导方法在高分辨率下模糊局部结构或丢失纹理的局限性。
• 开发一种解耦的潜在空间表征，以在极端面部变化下同时保留面部结构和真实纹理。
• 构建并发布一个大规模、高分辨率的人脸操作数据库（MVF-HQ），以支持未来研究。

提出的方法

• 条件编码器-解码器网络以半监督方式预测目标人脸边界图像，使用姿态和表情向量作为条件输入。
• 集成姿态和表情估计器以提高边界预测的准确性和鲁棒性。
• 两个独立的编码器网络将预测的边界图像（结构）和输入人脸图像（纹理）分别映射到不同的潜在空间。
• 使用代理人脸识别网络作为解耦促进器，并引入一种新颖的特征阈值损失，以控制学习特征相对于代理特征的紧凑性。
• 应用多尺度像素级损失和条件对抗损失，以增强纹理细节和真实感。
• 通过组合重建损失、解耦损失、身份保持损失和对抗损失联合训练框架，以确保图像保真度和真实感。

实验结果

研究问题

• RQ1 两阶段框架能否有效解耦极端姿态和表情下高分辨率人脸操作的结构与纹理？
• RQ2 如何仅使用姿态和表情向量作为控制信号，在半监督方式下准确预测边界图像？
• RQ3 在极端操作场景下，哪些损失组件对于同时保持面部结构清晰度和纹理真实感至关重要？
• RQ4 特征阈值损失在不过度压缩特征的情况下如何促进解耦，尤其是在高分辨率下？
• RQ5 所提方法在跨域场景下的泛化能力如何，通过跨数据库测试得以验证？

主要发现

• 在MVF-HQ数据集上，±90°姿态下，该方法的Fréchet Inception Distance（FID）最低，达到12.94，Rank-1准确率为60.4%，表明图像质量与身份保持性能优越。
• 当特征阈值损失参数m设置为7时，FID最小化且Rank-1准确率最大化，表明实现了最优解耦。
• 消融研究证实，每一项损失组件——尤其是特征阈值损失和多尺度像素级损失——对保持局部纹理和结构清晰度至关重要。
• 跨数据库实验表明模型具有强泛化能力，即使在MultiPIE与MVF-HQ之间存在显著领域差异的情况下，仍能成功操作人脸。
• MVF-HQ数据集包含来自479位身份的120,283张高分辨率（6000×4000）图像，其规模和分辨率均显著超过现有数据库，支持更真实的评估。