[论文解读] Predicting Face Recognition Performance Using Image Quality

Abhishek Dutta, Raymond Veldhuis+1 more|arXiv (Cornell University)|Oct 24, 2015

Face and Expression Recognition参考文献 3被引用 9

一句话总结

该论文提出了一种贝叶斯生成模型，仅通过图像质量特征（例如姿态、光照）预测人脸识别性能，实现预验证性能估计。当与无偏的图像质量评估器（IQA）配合使用时，该模型可实现准确预测，但预测误差主要源于IQA未能捕捉到的未计入质量变化。

ABSTRACT

This paper proposes a data driven model to predict the performance of a face recognition system based on image quality features. We model the relationship between image quality features (e.g. pose, illumination, etc.) and recognition performance measures using a probability density function. To address the issue of limited nature of practical training data inherent in most data driven models, we have developed a Bayesian approach to model the distribution of recognition performance measures in small regions of the quality space. Since the model is based solely on image quality features, it can predict performance even before the actual recognition has taken place. We evaluate the performance predictive capabilities of the proposed model for six face recognition systems (two commercial and four open source) operating on three independent data sets: MultiPIE, FRGC and CAS-PEAL. Our results show that the proposed model can accurately predict performance using an accurate and unbiased Image Quality Assessor (IQA). Furthermore, our experiments highlight the impact of the unaccounted quality space -- the image quality features not considered by IQA -- in contributing to performance prediction errors.

研究动机与目标

• 解决人脸识别系统中在非理想图像条件下缺乏实例级性能不确定性量化的问题。
• 通过贝叶斯方法建模小质量空间区域内的性能分布，克服数据驱动性能预测模型中训练数据有限的挑战。
• 开发一种在实际识别前预测识别性能（如FNMR、FMR）的方法，仅依赖图像质量特征，避免依赖相似度分数。
• 研究未计入图像质量变化对预测准确性的影响，并识别影响模型在不同数据集间泛化能力的关键因素。

提出的方法

• 使用生成式贝叶斯框架建模图像质量特征 𝐪 与识别性能度量 𝐫 的联合分布。
• 使用概率密度函数表示图像质量与性能之间的关系，实现在特定工作点上对FNMR和FMR的 probabilistic 预测。
• 采用贝叶斯非参数方法估计质量空间中数据稀疏区域的性能分布，提升在有限训练样本下的鲁棒性。
• 通过从学习到的模型中随机抽样生成合成数据，以训练最终的预测模型 P(𝐪, 𝐫)，确保覆盖稀有质量组合。
• 在三个独立数据集（MultiPIE、FRGC 和 CAS-PEAL）上，对六种人脸识别系统（两种商业系统，四种开源系统）进行模型评估。
• 使用图像质量评估器（IQA）提取质量特征；模型的准确性关键取决于IQA捕捉所有相关质量变化的能力。

实验结果

研究问题

• RQ1 能否仅使用图像质量特征而无需依赖相似度分数，通过数据驱动模型准确预测人脸识别性能？
• RQ2 贝叶斯建模方法如何提升质量空间数据稀疏区域的性能预测能力？
• RQ3 未被IQA捕捉到的图像质量变化（即未计入的质量变化）对预测准确性有何影响？
• RQ4 该模型在不同人脸识别系统和具有不同图像采集条件的独立数据集之间如何泛化？
• RQ5 图像质量评估器（IQA）的质量在多大程度上影响性能预测的可靠性？

主要发现

• 当与准确且无偏的图像质量评估器（IQA）配合使用时，所提出的模型在多种系统和数据集上均实现了准确的性能预测，展现出强大的预测能力。
• 预测准确性在不同系统间差异显著：Gabor-Jet 和 LGBPHS 表现低预测误差，而 COTS-B 和 cLDA 表现高误差，表明系统对未计入质量因素的敏感性存在差异。
• 预测误差的主要来源是未计入质量空间中的变异——即IQA未捕捉到的图像质量特征，凸显了全面设计IQA的必要性。
• 即使受控数据集如 MultiPIE 和 CAS-PEAL 也包含大量未计入的质量变异，影响模型泛化能力和预测可靠性。
• 该模型揭示了非直观的系统行为，例如某些系统对右侧视角的识别性能优于左侧视角，而这种现象仅在IQA能区分此类视角时才能被捕捉。
• 本研究强调了开发透明、标准化且全面的IQA系统的重要性，以实现在多样化生物特征应用中可靠且可互操作的性能预测。