[论文解读] Automatic Face Image Quality Prediction

Lacey Best-Rowden, Anil K. Jain|arXiv (Cornell University)|Jun 29, 2017

Face recognition and analysis参考文献 3被引用 13

一句话总结

本文提出了一种基于深度学习的自动人脸图像质量预测方法，利用人工评分的质量分数和匹配器依赖的相似性分数，通过在预训练的卷积神经网络（ConvNet）特征上应用支持向量回归（SVR）模型，显著降低了在1% FMR时的FNMR至少13%，在LFW和IJB-A数据集上表现出强大的跨数据库泛化能力。

ABSTRACT

Face image quality can be defined as a measure of the utility of a face image to automatic face recognition. In this work, we propose (and compare) two methods for automatic face image quality based on target face quality values from (i) human assessments of face image quality (matcher-independent), and (ii) quality values computed from similarity scores (matcher-dependent). A support vector regression model trained on face features extracted using a deep convolutional neural network (ConvNet) is used to predict the quality of a face image. The proposed methods are evaluated on two unconstrained face image databases, LFW and IJB-A, which both contain facial variations with multiple quality factors. Evaluation of the proposed automatic face image quality measures shows we are able to reduce the FNMR at 1% FMR by at least 13% for two face matchers (a COTS matcher and a ConvNet matcher) by using the proposed face quality to select subsets of face images and video frames for matching templates (i.e., multiple faces per subject) in the IJB-A protocol. To our knowledge, this is the first work to utilize human assessments of face image quality in designing a predictor of unconstrained face quality that is shown to be effective in cross-database evaluation.

研究动机与目标

• 开发一种自动人脸图像质量预测系统，以提升无约束环境下的人脸识别性能。
• 研究人工评分的人脸图像质量与识别性能指标（如FNMR和FMR）之间的相关性。
• 比较预测人工评估质量与预测匹配器依赖质量分数在提升识别准确率方面的有效性。
• 评估所提出的质量预测器在不同人脸图像数据库（LFW和IJB-A）上的泛化能力。
• 通过在匹配前识别低质量图像，实现质量基融合、重新采集提示和自适应识别等实际应用。

提出的方法

• 该方法使用支持向量回归（SVR）模型，基于从人脸图像中提取的深度卷积神经网络（ConvNet）特征进行训练。
• 采用两种质量预测目标：人工评估的人脸图像质量（HQV）和基于相似性分数推导出的匹配器依赖质量分数（MQV）。
• ConvNet特征从一个预训练的Deep-320网络中提取，该网络专为人脸识别训练，因此能捕捉与质量无关的表征。
• HQV预测器基于从LFW数据集通过众包收集的人工评分进行训练，而MQV预测器则使用人脸匹配器的成对匹配分数。
• 最终的质量分数用于对图像进行排序和选择，以在IJB-A协议中进行基于模板的匹配。
• 通过在LFW上训练并在IJB-A上测试，执行跨数据库评估以评估泛化性能。

实验结果

研究问题

• RQ1 能否利用深度特征可靠地预测人工评分的人脸图像质量，并用于提升人脸识别性能？
• RQ2 与预测匹配器依赖质量分数相比，预测人工评分质量在识别性能提升方面表现如何？
• RQ3 所提出的质量预测器是否能在不同无约束人脸图像数据库之间实现泛化？
• RQ4 在真实世界识别场景中，基于质量的图像选择在固定FMR下能将FNMR降低多少？
• RQ5 该质量预测模型能否在质量基融合和自适应识别等实际应用中有效使用？

主要发现

• 在IJB-A协议中，使用人工评分质量值选择高质量人脸图像，使COTS-A和ConvNet匹配器在1% FMR下的FNMR至少降低13%。
• 在LFW数据库中，基于人工质量评分拒绝最低5%的人脸图像，使FNMR降低了2%。
• 预测人工评估质量（HQV）优于预测匹配器依赖质量分数（MQV），因为MQV对特定匹配器行为和成对图像因素敏感。
• 在LFW数据上训练的质量预测器在IJB-A数据集上表现出良好泛化能力，证明了其跨数据库有效性。
• 对排序后的人脸图像进行视觉检查确认，该方法能有效按感知质量对图像进行排序，即使在不同数据库之间也成立。
• 在基于质量的图像选择方面，该方法与最先进方法RQS [29] 表现相当，验证了其有效性。