[论文解读] Inducing Predictive Uncertainty Estimation for Face Recognition

Weidi Xie, Jeffrey Byrne+1 more|arXiv (Cornell University)|Sep 1, 2020

Face recognition and analysis参考文献 34被引用 13

一句话总结

本文提出PCNet，一种轻量级置信度网络，通过从配对的人脸图像中自动生成图像质量训练数据，估计人脸识别中的预测不确定性。该方法通过拒绝低质量输入并增强集合融合，提升了验证的鲁棒性，在IJB-C基准上显著提升了低FAR下的TAR，且模型参数量少于基线方法。

ABSTRACT

Knowing when an output can be trusted is critical for reliably using face recognition systems. While there has been enormous effort in recent research on improving face verification performance, understanding when a model's predictions should or should not be trusted has received far less attention. Our goal is to assign a confidence score for a face image that reflects its quality in terms of recognizable information. To this end, we propose a method for generating image quality training data automatically from 'mated-pairs' of face images, and use the generated data to train a lightweight Predictive Confidence Network, termed as PCNet, for estimating the confidence score of a face image. We systematically evaluate the usefulness of PCNet with its error versus reject performance, and demonstrate that it can be universally paired with and improve the robustness of any verification model. We describe three use cases on the public IJB-C face verification benchmark: (i) to improve 1:1 image-based verification error rates by rejecting low-quality face images; (ii) to improve quality score based fusion performance on the 1:1 set-based verification benchmark; and (iii) its use as a quality measure for selecting high quality (unblurred, good lighting, more frontal) faces from a collection, e.g. for automatic enrolment or display.

研究动机与目标

• 解决输入图像质量低下（如模糊、侧脸、非人脸）时人脸识别预测不可信的问题，避免出现假阳性和假阴性。
• 开发一种无需依赖昂贵人工标注质量标签的预测置信度学习方法。
• 构建一种可广泛适用的置信度估计器，可与任意人脸识别验证模型结合以提升鲁棒性。
• 在三种实际应用场景中展示其有效性：通过拒绝策略降低错误率、质量感知的融合、自动选择高质量人脸。
• 证明基于配对图像的置信度估计可有效建模图像质量，而无需显式标注。

提出的方法

• 从身份匹配的图像对（即同一身份的图像对）中自动生成图像质量训练数据，利用预训练验证模型的相似度得分作为依据。
• 训练一个轻量级网络PCNet（基于ResNet18），为每张人脸图像预测一个置信度分数，低置信度表示可识别信息不足。
• 利用置信度分数对集合验证中的特征嵌入进行加权，计算加权平均集合描述符：$ v = \sum_i s_i v_i / \sum_i s_i $。
• 利用身份匹配对的内在结构定义代理质量信号：与匹配图像相似度低的图像被赋予低置信度。
• 在推理阶段应用PCNet，用于拒绝低置信度图像，或在注册或显示阶段优先选择高质量图像。
• 在包含真实世界多样性的图像与视频集合的IJB-C基准上进行训练与评估。

实验结果

研究问题

• RQ1 能否通过利用身份标注数据集中配对图像的数据，无需人工标注质量标签，学习到预测置信度？
• RQ2 PCNet在通过拒绝低质量图像来降低1:1人脸识别错误率方面效果如何？
• RQ3 基于置信度的融合是否相比均匀平均能显著提升集合人脸识别基准上的性能？
• RQ4 PCNet在自动注册或显示流程中作为高质量人脸选择的可靠质量度量，其适用程度如何？
• RQ5 PCNet是否能在不同人脸识别架构（如ResNet101和SENet50）上实现良好泛化？

主要发现

• PCNet在IJB-C基准上显著提升了1:1图像验证性能，在FAR=1E-2时达到0.970的TAR，优于基线模型。
• 在FAR=1E-6时，PCNet在ResNet50上达到0.693的TAR，在SENet50上达到0.695，超过QNet和MNet基线模型。
• 在集合验证中，PCNet在所有指标上均提升2–8%，尤其在低FAR下提升最大，因低质量图像最易扭曲平均嵌入。
• 置信度分数与人类对图像质量的感知高度相关，低分图像一致对应模糊、非人脸或极端姿态图像。
• PCNet采用远轻量级的架构（ResNet18），相比先前的置信度网络（如ResNet50），更适用于实时部署。
• 该方法具有普适性：PCNet可与任意验证模型结合使用，无需重新训练主模型即可提升鲁棒性。