[论文解读] Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis

Rui Huang, Shu Zhang+2 more|arXiv (Cornell University)|Apr 13, 2017

Face recognition and analysis参考文献 40被引用 127

一句话总结

TP-GAN 引入一个带有全局结构和局部补丁网络的双路径 GAN，从轮廓图合成真实感强、能保持身份信息的正面脸部图像，用于改进大姿态识别。

ABSTRACT

Photorealistic frontal view synthesis from a single face image has a wide range of applications in the field of face recognition. Although data-driven deep learning methods have been proposed to address this problem by seeking solutions from ample face data, this problem is still challenging because it is intrinsically ill-posed. This paper proposes a Two-Pathway Generative Adversarial Network (TP-GAN) for photorealistic frontal view synthesis by simultaneously perceiving global structures and local details. Four landmark located patch networks are proposed to attend to local textures in addition to the commonly used global encoder-decoder network. Except for the novel architecture, we make this ill-posed problem well constrained by introducing a combination of adversarial loss, symmetry loss and identity preserving loss. The combined loss function leverages both frontal face distribution and pre-trained discriminative deep face models to guide an identity preserving inference of frontal views from profiles. Different from previous deep learning methods that mainly rely on intermediate features for recognition, our method directly leverages the synthesized identity preserving image for downstream tasks like face recognition and attribution estimation. Experimental results demonstrate that our method not only presents compelling perceptual results but also outperforms state-of-the-art results on large pose face recognition.

研究动机与目标

• 解决从单张轮廓图像到正面视图合成的病态性问题。
• 学习一个保持个体身份同时生成正面视图的合成模型。
• 在全局结构与局部纹理之间取得平衡，以实现高质量的正面合成。
• 通过对抗、对称性和身份保持损失将先验引入以约束重建。

提出的方法

• 提出 TP-GAN，具有两条路径：一个全局的编码-解码器，以及四个以关键点为中心的局部纹理补丁网络。
• 通过基于模板的最大-输出融合和连续卷积将全局特征与局部特征融合。
• 使用对抗判别器将生成的图像推向正面人脸数据分布。
• 结合对称性损失（像素空间与拉普拉斯空间）以利用面部对称性并减少自遮挡效应。
• 应用基于预训练 Light CNN 特征的身份保持（感知）损失以维持身份。
• 将损失综合成最终合成目标 L_syn，包含像素、对称性、对抗、身份保持和总变分项。

实验结果

研究问题

• RQ1 两条路径的网络是否能够从极大姿态的图像中可靠地合成真实感强的正面脸部？
• RQ2 在使用合成正面脸时，显式的身份保持是否会提升识别性能？
• RQ3 全局路径与局部路径以及各损失项对合成质量和识别准确性的影响是什么？
• RQ4 合成的正面脸是否能够实现真正的“通过生成进行识别”的工作流，效果优于使用中间特征的识别？

主要发现

• TP-GAN 能从大姿态输入获得真实感的正面视图，并保持诸如眼镜和发型等身份属性。
• 该方法在大姿态识别任务上优于最先进的正面化方法，在较大角度时有显著提升。
• 使用合成的正面图像并结合 Light-CNN 特征，在跨视图的 Rank-1 识别上优于基线。
• 双路径结构以及 L_adv 与 L_ip 损失的结合为识别性能带来最大的提升。
• 该方法表现出稳健的身份保持，并且在如 LFW 这样的野外人脸上也能无需再训练就泛化。