[论文解读] Fast and Reliable Probabilistic Face Embeddings in the Wild

Kai Chen, Qi Lv+1 more|arXiv (Cornell University)|Feb 8, 2021

Face recognition and analysis参考文献 69被引用 6

一句话总结

该论文提出ProbFace，一种快速且可靠的概率性人脸嵌入方法，通过简化互似度得分、引入方差正则化以及采用多层特征融合与身份保持损失，显著提升了开放环境下的不确定性估计与匹配速度。ProbFace在9个基准测试中达到最先进性能，并在噪声、大姿态和分布外条件下展现出更强的风险可控人脸识别能力。

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 9 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of our work is publicly available in GitHub (https://github.com/KaenChan/ProbFace).

研究动机与目标

• 解决现有概率性人脸嵌入（PFE）方法在开放环境下的过度自信与高计算成本问题。
• 通过简化互似度得分（MLS）度量，提升大规模人脸匹配的鲁棒性与速度。
• 通过引入方差正则化项，减少不确定性估计中的过拟合问题。
• 通过引入一种不确定性感知的识别损失，联合利用正样本对与负样本对，提升MLS度量的判别能力。
• 通过低层与高层表示的多层特征融合，提升不确定性估计能力。

提出的方法

• 将MLS度量简化为基于不确定性的余弦相似度调整，实现更快的人脸对匹配。
• 引入输出约束损失，惩罚不确定性输出中的高方差，防止过度自信与过拟合。
• 提出一种身份保持损失，联合优化正样本对与负样本对，提升MLS度量的判别能力。
• 采用多层特征融合模块，结合网络不同深度的特征，增强不确定性估计能力。
• 使用改进的Grad-CAM方法，通过−σ²的梯度可视化输入人脸图像中降低不确定性的区域。
• 采用对比损失与不确定性感知损失的组合，端到端训练模型，联合优化特征表示与不确定性估计。

实验结果

研究问题

• RQ1 互似度得分（MLS）度量能否被简化，以在不损失性能的前提下加速人脸匹配？
• RQ2 如何对不确定性估计进行正则化，以防止概率性人脸嵌入中的过度自信与过拟合？
• RQ3 在训练过程中引入负样本对，能否提升MLS度量的判别能力？
• RQ4 多尺度特征融合在多大程度上提升了深度人脸网络中的不确定性估计能力？
• RQ5 在噪声、大姿态和分布外条件下，所提方法在风险可控人脸识别设置下的表现如何？

主要发现

• ProbFace在包括LFW、CFP-FP和AgeDB30在内的9个基准测试中，性能与最先进方法相当或更优。
• 在含20%噪声比例的噪声数据上，ProbFace在准确率上表现出最显著的提升，优于PFE与基线模型。
• 在CFP-FP与Vgg2FP数据集的大姿态场景下，ProbFace实现了最佳的准确率-拒识性能，展现出在高难度场景下的强鲁棒性。
• 准确率-拒识曲线表明，ProbFace在高拒识率下仍能保持高准确率，证明其在风险可控识别中的有效性。
• Grad-CAM可视化结果表明，高质量人脸在面部区域产生聚焦注意力，而低质量人脸则呈现分散激活，表明不确定性定位有效。
• 消融实验验证了各组件——方差正则化、识别损失与多层融合——对性能提升均有显著贡献。