[论文解读] Learning a High Fidelity Pose Invariant Model for High-resolution Face Frontalization

Jie Cao, Yibo Hu+3 more|arXiv (Cornell University)|Jun 22, 2018

Face recognition and analysis被引用 55

一句话总结

HF-PIM 引入一个密集对应场和纹理图像扭曲以正面化高分辨率人脸，受 Adversarial Residual Dictionary Learning 的监督以避免对3D数据的依赖，达到姿态不变识别的最先进水平并实现高保真正面化。

ABSTRACT

Face frontalization refers to the process of synthesizing the frontal view of a face from a given profile. Due to self-occlusion and appearance distortion in the wild, it is extremely challenging to recover faithful results and preserve texture details in a high-resolution. This paper proposes a High Fidelity Pose Invariant Model (HF-PIM) to produce photographic and identity-preserving results. HF-PIM frontalizes the profiles through a novel texture warping procedure and leverages a dense correspondence field to bind the 2D and 3D surface spaces. We decompose the prerequisite of warping into dense correspondence field estimation and facial texture map recovering, which are both well addressed by deep networks. Different from those reconstruction methods relying on 3D data, we also propose Adversarial Residual Dictionary Learning (ARDL) to supervise facial texture map recovering with only monocular images. Exhaustive experiments on both controlled and uncontrolled environments demonstrate that the proposed method not only boosts the performance of pose-invariant face recognition but also dramatically improves high-resolution frontalization appearances.

研究动机与目标

• 在野外场景中解决高分辨率、身份保持的人脸正面化挑战。
• 利用通过密集对应场的密集2D-3D绑定以及面部纹理图来引导扭曲。
• 通过 Adversarial Residual Dictionary Learning (ARDL) 在没有3D数据的情况下监督纹理图恢复。
• 提供一个端到端深度网络，统一几何估计、纹理恢复和正面化。
• 在多个数据集上展示改进的姿态不变识别和高分辨率正面化。

提出的方法

• 估计一个密集对应场 F，将2D纹理空间连接到正面视图。
• 通过自编码器在UV空间恢复面部纹理图 T，当真实 T 不可用时由 ARDL 指导。
• 使用 Y = warp(i,j;F,T) = T_{u_{ij},v_{ij}} 将纹理图扭曲到正面视图，并使用 aRec 生成非面部区域。
• 使用重构损失 L_rec = ||Rec(F,T) - Y||_1 进行训练，以确保视觉真实性。
• 使用 ARDL 在没有3D数据的情况下通过一个字典学习模块对齐纹理编码，并对抗式损失对抗一个姿态判别字典预测器来监督纹理表示。
• 使用感知损失 L_p 以保留身份特征，以及 RGB 对抗损失 L_g/L_d 以实现照片级真实感。

实验结果

研究问题

• RQ1 密集2D-3D绑定通过密集对应场是否能改善从轮廓图像到高分辨率人脸正面化的效果？
• RQ2 ARDL 是否能够在没有真实3D纹理图的情况下实现纹理图的有效恢复？
• RQ3 所 proposed HF-PIM 能否在256×256分辨率下在野外场景实现高保真、身份保持的正面化？
• RQ4 该方法是否提高标准基准和高分辨率数据集上的姿态不变人脸识别？

主要发现

• HF-PIM 在对大姿态变化的 Multi-PIE 数据集上显著提升 rank-1 识别率，相对于先前方法。
• HF-PIM 在使用正面化结果时，在野外数据集上（LFW 与 IJB-A）达到最先进的验证/识别性能。
• 在 CelebA-HQ 上实现高分辨率（256×256）正面化，感知与纹理细节保留优于以往的基于 GAN 的正面化方法。
• 密集对应场和纹理扭曲框架使纹理细节和姿态不变的重建更加真实。
• ARDL 实现了无需3D数据的纹理图恢复监督，降低对标注3D数据集的依赖。