[论文解读] Face Frontalization Based on Robustly Fitting a Deformable Shape Model to 3D Landmarks

Zhiqi Kang, Mostafa Sadeghi+1 more|arXiv (Cornell University)|Oct 26, 2020

Face recognition and analysis参考文献 32被引用 4

一句话总结

本文提出了一种鲁棒的3D点集配准方法，用于通过同时估计刚性变换（缩放、旋转、平移）和非刚性形变来实现人脸正面化，采用广义学生t分布来建模内点和外点。该方法通过EM算法实现像素级精确映射，在轮廓到正面人脸数据集上，以零均值归一化互相关（ZNCC）度量，实现了最先进的正面化质量表现。

ABSTRACT

Face frontalization consists of synthesizing a frontally-viewed face from an arbitrarily-viewed one. The main contribution of this paper is a robust face alignment method that enables pixel-to-pixel warping. The method simultaneously estimates the rigid transformation (scale, rotation, and translation) and the non-rigid deformation between two 3D point sets: a set of 3D landmarks extracted from an arbitrary-viewed face, and a set of 3D landmarks parameterized by a frontally-viewed deformable face model. An important merit of the proposed method is its ability to deal both with noise (small perturbations) and with outliers (large errors). We propose to model inliers and outliers with the generalized Student's t-probability distribution function, a heavy-tailed distribution that is immune to non-Gaussian errors in the data. We describe in detail the associated expectation-maximization (EM) algorithm that alternates between the estimation of (i) the rigid parameters, (ii) the deformation parameters, and (iii) the Student-t distribution parameters. We also propose to use the zero-mean normalized cross-correlation, between a frontalized face and the corresponding ground-truth frontally-viewed face, to evaluate the performance of frontalization. To this end, we use a dataset that contains pairs of profile-viewed and frontally-viewed faces. This evaluation, based on direct image-to-image comparison, stands in contrast with indirect evaluation, based on analyzing the effect of frontalization on face recognition.

研究动机与目标

• 开发一种鲁棒的人脸正面化方法，实现从任意视角到正面视角的像素级精确映射。
• 利用重尾统计模型解决3D人脸关键点对齐中的噪声和外点问题。
• 通过图像级度量直接评估正面化质量，与间接的基于识别的评估形成对比。
• 通过期望最大化框架的联合优化，实现刚性与非刚性参数的精确估计。

提出的方法

• 使用广义学生t-概率分布对内点和外点进行建模，该方法对非高斯误差和重尾数据具有鲁棒性。
• 采用期望最大化（EM）算法，迭代估计刚性参数（缩放、旋转、平移）、形变参数（形状系数）以及t分布参数（自由度、位置、尺度）。
• 使用基于均值形状和主成分分析（PCA）基的统计形状模型，表示非刚性面部形变。
• 在正面化结果与真实正面人脸之间计算零均值归一化互相关（ZNCC），作为直接的图像级评估指标。
• 通过三角化网格插值重建密集深度图，以实现像素级映射。
• 在形状参数上引入99%置信椭球约束，以正则化形变空间并提高鲁棒性。

实验结果

研究问题

• RQ1 一种鲁棒的3D点集配准方法能否有效处理人脸关键点数据中的噪声和外点，从而实现精确的人脸正面化？
• RQ2 与基于高斯分布的方法相比，使用广义学生t分布对内点和外点进行建模，在对齐精度方面有何提升？
• RQ3 所提出的方法在多大程度上实现了像素级精确映射，其正面化效果通过直接的图像到图像相似性度量是否显著？
• RQ4 通过EM框架联合估计刚性姿态与非刚性形变，是否能获得优于当前最先进方法的正面化结果？

主要发现

• 在轮廓到正面人脸数据集上，所提方法的零均值归一化互相关（ZNCC）得分高于两种最先进方法，表明其在图像级正面化质量方面表现更优。
• 使用广义学生t分布显著提升了对3D关键点数据中外点和非高斯误差的鲁棒性。
• 基于EM的优化框架成功收敛至稳定解，能够联合估计刚性姿态、非刚性形变及统计模型参数。
• 在形状参数上引入99%置信椭球约束，显著增强了正面化人脸形状的稳定性和真实性。
• 通过ZNCC进行的直接评估提供了一个可靠、图像级的基准，与间接的基于识别的评估形成良好互补。