[论文解读] Face Recognition in Low Quality Images: A Survey

Pei Li, Loreto R. Prieto+2 more|arXiv (Cornell University)|May 29, 2018

Advanced Image Processing Techniques参考文献 135被引用 47

一句话总结

对低质量人脸识别（LQFR）方法、数据集与挑战的全面综述，覆盖超分辨率、鲁棒特征、统一表征以及去模糊技术，并讨论人类与机器在性能上的差异与未来方向。

ABSTRACT

Low-resolution face recognition (LRFR) has received increasing attention over the past few years. Its applications lie widely in the real-world environment when high-resolution or high-quality images are hard to capture. One of the biggest demands for LRFR technologies is video surveillance. As the the number of surveillance cameras in the city increases, the videos that captured will need to be processed automatically. However, those videos or images are usually captured with large standoffs, arbitrary illumination condition, and diverse angles of view. Faces in these images are generally small in size. Several studies addressed this problem employed techniques like super resolution, deblurring, or learning a relationship between different resolution domains. In this paper, we provide a comprehensive review of approaches to low-resolution face recognition in the past five years. First, a general problem definition is given. Later, systematically analysis of the works on this topic is presented by catogory. In addition to describing the methods, we also focus on datasets and experiment settings. We further address the related works on unconstrained low-resolution face recognition and compare them with the result that use synthetic low-resolution data. Finally, we summarized the general limitations and speculate a priorities for the future effort.

研究动机与目标

• 定义 LQFR 问题及其降解过程。
• 系统地对现有的 LQFR 方法进行分类和分析。
• 总结 LQFR 中的数据集、协议和实验结果。
• 讨论局限性并提出未来研究的优先方向。

提出的方法

• 回顾四大类方法：基于超分辨率的方法、低分辨率鲁棒特征、统一表征学习，以及去模糊的解决方案。
• 讨论在特征提取和匹配之前的图像处理步骤，包括SR和去模糊。
• 区分真实低分辨率图像与合成下采样的低分辨率图像及其对人脸识别性能的影响。
• 总结传统方法（深度学习前）和基于深度学习的 LQFR 方法。
• 突出人类性能研究并将其与机器在 LQFR 任务上的性能进行比较。

实验结果

研究问题

• RQ1 哪些降解过程会产生低质量人脸图像，它们如何影响识别？
• RQ2 当探针图像与库中图像的质量或分辨率不匹配时，如何改进识别？
• RQ3 超分辨率、鲁棒特征和统一表征在 LQFR 中的相对优点是什么？
• RQ4 存在哪些用于评估 LQFR 方法的数据集和评估协议，它们的局限性是什么？

主要发现

• 当输入的低分辨率人脸达到一定尺寸时，超分辨率方法可以提高识别性能，但输入非常小的情况可能收益不明显。
• 基于学习的 SR 方法，包括深度网络和GANs，可以保留或增强面部先验信息以辅助识别。
• 将识别目标整合到 SR 过程中的方法（同时进行 SR 与识别）在学习类别间判别方面展现出潜力。
• 真实低分辨率图像带来额外挑战（噪声、非理想降解），超分辨率基础增益的迁移性受到影响。
• 在人类在 LQFR 任务上的表现会随分辨率下降和不熟悉度而下降，凸显了与先进机器系统之间的差距以及人机协作的潜力。
• 存在大量数据集和评估协议，但数据稀缺和质量维度的差异仍是基准测试的关键局限。