[论文解读] Effective Face Frontalization in Unconstrained Images

Tal Hassner, Shai Har-El+2 more|arXiv (Cornell University)|Nov 28, 2014

Face recognition and analysis参考文献 35被引用 10

一句话总结

本文提出了一种简单而有效的面部正向化方法，利用单一固定3D人脸模型从非约束、非正面对的图像中合成正面视图。通过避免对每张图像进行3D形状估计，该方法实现了更优的对齐与识别性能，在LFW上的面部识别准确率提升至91.65%，在Adience上的性别估计准确率提升约4%，表明刚性、通用的3D几何结构在识别任务中可优于个性化3D拟合。

ABSTRACT

"Frontalization" is the process of synthesizing frontal facing views of faces appearing in single unconstrained photos. Recent reports have suggested that this process may substantially boost the performance of face recognition systems. This, by transforming the challenging problem of recognizing faces viewed from unconstrained viewpoints to the easier problem of recognizing faces in constrained, forward facing poses. Previous frontalization methods did this by attempting to approximate 3D facial shapes for each query image. We observe that 3D face shape estimation from unconstrained photos may be a harder problem than frontalization and can potentially introduce facial misalignments. Instead, we explore the simpler approach of using a single, unmodified, 3D surface as an approximation to the shape of all input faces. We show that this leads to a straightforward, efficient and easy to implement method for frontalization. More importantly, it produces aesthetic new frontal views and is surprisingly effective when used for face recognition and gender estimation.

研究动机与目标

• 解决在极端且多变的面部姿态下进行面部识别的挑战，尤其是在非约束图像中的应用。
• 克服以往正向化方法依赖每张图像的3D人脸形状估计所导致的局限性，此类方法易引入对齐误差且计算开销大。
• 探究是否可使用单一、未经修改的3D人脸模型处理所有输入，从而在对齐与识别性能上优于个性化3D拟合。
• 证明在非约束环境下，面部纹理比精确的3D形状对识别更为关键。

提出的方法

• 对所有输入图像使用单一、固定的3D人脸模型（未经修改）作为参考，无论实际人脸形状如何。
• 在查询图像中检测2D面部关键点，并将其与参考模型上的对应3D点匹配。
• 从2D查询点到3D模型点估计投影矩阵，实现图像强度向正向化3D坐标系的反投影。
• 通过融合面部对称区域的颜色实现可见性校正，以处理非正面姿态中被遮挡或不可见的区域。
• 将生成的正向化图像作为下游识别任务（如面部识别与性别估计）的输入。
• 采用标准图像表征方法（LBP、FPLBP）与分类器（SVM）在LFW与Adience基准上评估性能。

实验结果

研究问题

• RQ1 在非约束图像中，固定且通用的3D人脸模型是否能优于个性化3D形状估计的正向化方法？
• RQ2 与每张图像独立拟合3D形状相比，使用单一3D模型是否能提升对齐质量与识别性能？
• RQ3 缺乏个性化面部几何结构在多大程度上影响正向化人脸的可识别性与视觉质量？
• RQ4 在非约束环境下，面部纹理是否比精确的3D形状对识别更为重要？
• RQ5 使用固定模型进行正向化能否显著提升在LFW与Adience等挑战性基准上的最先进性能？

主要发现

• 所提方法在LFW基准的“图像受限、无标签外部数据”类别中取得了91.65% ± 1.04的面部识别准确率，为迄今报告的最高得分。
• 使用固定3D模型进行正向化使Adience基准上的性别估计准确率提升了约4%，达到80.0% ± 0.7%（使用LBP特征）。
• 该方法优于保持外观的平面内对齐方法，表明通过固定3D模型实现的激进对齐可提升分类性能。
• 即使输入图像存在显著姿态变化，正向化结果仍保持高可识别性与视觉质量，且因形状不匹配导致的退化极小。
• 将正向化图像与Sub-SML结合后，识别性能进一步提升2%，证明其与最先进识别流程的兼容性。
• 性别估计中的误分类主要源于缺乏清晰性别特征或图像质量退化，而非正向化过程本身的问题。