[论文解读] Reliable Probabilistic Face Embeddings in the Wild.

Kai Chen, Qi Lv+2 more|arXiv (Cornell University)|Feb 8, 2021

Face recognition and analysis参考文献 33被引用 5

一句话总结

该论文提出ProbFace，一种正则化的概率人脸嵌入方法，通过简化互似然得分（MLS）、引入输出约束损失以减少过度自信，并增强特征融合与判别能力，显著提升了开放环境人脸识别中不确定性估计的鲁棒性与匹配速度。ProbFace在8个基准测试中达到最先进性能，推理速度更快，且风险控制能力更强。

ABSTRACT

Probabilistic Face Embeddings (PFE) can improve face recognition performance in unconstrained scenarios by integrating data uncertainty into the feature representation. However, existing PFE methods tend to be over-confident in estimating uncertainty and is too slow to apply to large-scale face matching. This paper proposes a regularized probabilistic face embedding method to improve the robustness and speed of PFE. Specifically, the mutual likelihood score (MLS) metric used in PFE is simplified to speedup the matching of face feature pairs. Then, an output-constraint loss is proposed to penalize the variance of the uncertainty output, which can regularize the output of the neural network. In addition, an identification preserving loss is proposed to improve the discriminative of the MLS metric, and a multi-layer feature fusion module is proposed to improve the neural network's uncertainty estimation ability. Comprehensive experiments show that the proposed method can achieve comparable or better results in 8 benchmarks than the state-of-the-art methods, and can improve the performance of risk-controlled face recognition. The code of ProbFace is publicly available in GitHub (this https URL).

研究动机与目标

• 解决现有概率人脸嵌入（PFE）方法中存在的过度自信问题，该问题导致真实世界人脸识别中不确定性估计不可靠。
• 通过简化互似然得分（MLS）度量，提升PFE的推理速度，实现更快的人脸对匹配。
• 通过引入保持识别能力的损失函数，增强MLS度量的判别能力，从而提升识别准确率。
• 通过引入多层特征融合模块，捕获更丰富的表征，强化不确定性估计。
• 通过正则化神经网络输出，降低不确定性预测的方差，提升在分布偏移下的可靠性。

提出的方法

• 简化互似然得分（MLS）度量，以降低计算复杂度，加速人脸特征对的匹配速度。
• 引入输出约束损失，惩罚预测不确定性中的高方差，减少不确定性估计的过度自信。
• 提出一种保持识别能力的损失函数，以增强MLS度量的判别能力，提升识别性能。
• 设计一个多层特征融合模块，聚合网络不同层的表征，以改善不确定性估计。
• 端到端联合训练模型，结合分类损失、保持识别能力的损失与输出约束损失，平衡准确率与不确定性校准。
• 采用概率输出头，在统一框架中同时预测嵌入特征及其关联的不确定性方差。

实验结果

研究问题

• RQ1 简化互似然得分（MLS）度量是否能显著降低推理时间，同时不牺牲识别性能？
• RQ2 通过输出约束损失正则化不确定性方差，是否能提升开放环境人脸识别中不确定性估计的可靠性？
• RQ3 保持识别能力的损失在多大程度上增强了MLS度量的判别能力？
• RQ4 多层特征融合在多大程度上提升了深度神经网络的不确定性估计能力？
• RQ5 所提方法是否能在多样化的基准上实现最先进性能，同时在风险控制识别设置下保持鲁棒性？

主要发现

• ProbFace在包括MS-Celeb-1M、VGGFace2和IJB-C在内的8个多样化基准上，性能与最先进方法相当或更优。
• 简化的MLS度量显著降低了推理时间，使大规模应用中的人脸匹配更加迅速。
• 输出约束损失有效减少了不确定性预测的过度自信，提升了校准度与可靠性。
• 保持识别能力的损失增强了MLS度量的判别能力，从而提升了识别准确率。
• 多层特征融合模块通过利用层次化表征，有助于实现更精确的不确定性估计。
• ProbFace在风险控制的人脸识别中表现更优，其中不确定性感知决策至关重要。