[论文解读] Face frontalization for Alignment and Recognition

Christos Sagonas, Yannis Panagakis+2 more|arXiv (Cornell University)|Feb 3, 2015

Face recognition and analysis参考文献 33被引用 12

一句话总结

本文提出了一种统一方法FAR（用于对齐与识别的面部正面化），通过仅使用少量正面图像，联合执行面部关键点定位与正面面部重建。通过观察到正面面部具有最小的核范数（低秩），该方法求解一个约束优化问题，最小化核范数与L1范数，从而同时恢复关键点与正面化图像，在无需3D模型或深度学习的情况下，实现了最先进的姿态不变识别与对齐性能。

ABSTRACT

Recently, it was shown that excellent results can be achieved in both face landmark localization and pose-invariant face recognition. These breakthroughs are attributed to the efforts of the community to manually annotate facial images in many different poses and to collect 3D faces data. In this paper, we propose a novel method for joint face landmark localization and frontal face reconstruction (pose correction) using a small set of frontal images only. By observing that the frontal facial image is the one with the minimum rank from all different poses we formulate an appropriate model which is able to jointly recover the facial landmarks as well as the frontalized version of the face. To this end, a suitable optimization problem, involving the minimization of the nuclear norm and the matrix $\ell_1$ norm, is solved. The proposed method is assessed in frontal face reconstruction (pose correction), face landmark localization, and pose-invariant face recognition and verification by conducting experiments on $6$ facial images databases. The experimental results demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决在极少训练数据下，非约束条件下准确面部对齐与姿态不变识别的挑战。
• 消除在非正面姿态场景下对3D面部模型或大规模标注数据集的需求。
• 开发一种统一框架，仅使用少量正面图像，同时执行关键点定位与面部正面对齐。
• 验证正面面部在所有姿态中核范数最低，从而支持利用低秩建模进行姿态校正。
• 在不依赖深度学习或复杂3D拟合过程的情况下，实现高性能的面部识别与验证。

提出的方法

• 该方法将面部正面对齐与关键点定位建模为一个约束低秩矩阵恢复问题，通过最小化图像表示的核范数与L1范数来实现。
• 它使用仅从少量正面面部图像构建的统计形状模型U来引导优化过程，以保持结构一致性。
• 通过凸松弛方法求解优化问题，利用正面面部因对称面部结构而表现出的最小秩特性。
• 使用检测器初始化面部位置，并通过迭代优化同时恢复关键点与正面对齐图像。
• 该方法通过依赖低秩先验避免了3D建模，且无需3D面部扫描或大量2D标注数据。
• 该框架端到端应用：从输入图像到输出正面对齐图像，同时恢复关键点与正面对齐视图。

实验结果

研究问题

• RQ1 是否能够仅使用少量正面图像，通过统一框架同时实现面部关键点定位与正面对齐？
• RQ2 正面面部是否在所有姿态中表现出最低的核范数，从而支持利用低秩建模进行姿态校正？
• RQ3 低秩与稀疏优化是否能够在不使用3D模型或深度学习的情况下，优于现有方法在姿态不变面部识别中的表现？
• RQ4 是否仅通过正面面部的统计模型，即可在非约束环境下实现高识别准确率？
• RQ5 在关键点定位与识别性能方面，该方法与SOTA方法相比表现如何？

主要发现

• 在MultiPIE数据库上，FAR方法在不同姿态下实现了97.06%的识别准确率，优于对比的五种方法中的四种。
• 在LFW数据集上，FAR实现了88.81% ± 0.0078的平均分类准确率，优于MRF-MLBP与Fisher Vector Faces方法，且与最先进的EigenPEP方法性能相当。
• 该方法证明了正面面部在所有姿态中核范数最低，验证了低秩恢复核心假设的合理性。
• 尽管仅在正面图像上进行训练，FAR仍实现了具有竞争力的关键点定位性能，优于在数千张多姿态图像上训练的方法。
• 该方法在无需3D面部模型或复杂3D拟合过程的情况下，生成了高质量的正面对齐图像，显著降低了计算成本与复杂度。
• 结果证实，低秩与稀疏优化能够有效建模非刚性面部形变，并实现鲁棒的姿态不变识别。