[论文解读] Low Resolution Face Recognition in the Wild

Pei Li, Loreto R. Prieto+2 more|arXiv (Cornell University)|May 29, 2018

Face recognition and analysis参考文献 2被引用 7

一句话总结

本文提出了一种全面的方法，用于在真实监控环境中进行低分辨率人脸识别，通过超分辨率、基于生成对抗网络的预训练以及全卷积神经网络，提升了在SCFace和UCCSface等具有挑战性的数据集上的性能。通过将深度学习与针对低质量人脸数据的专用架构相结合，该方法取得了当前最优的结果。

ABSTRACT

Although face recognition systems have achieved impressive performance in recent years, the low-resolution face recognition (LRFR) task remains challenging, especially when the LR faces are captured under non-ideal conditions, as is common in surveillance-based applications. Faces captured in such conditions are often contaminated by blur, nonuniform lighting, and nonfrontal face pose. In this paper, we analyze face recognition techniques using data captured under low-quality conditions in the wild. We provide a comprehensive analysis of experimental results for two of the most important applications in real surveillance applications, and demonstrate practical approaches to handle both cases that show promising performance. The following three contributions are made: {\em (i)} we conduct experiments to evaluate super-resolution methods for low-resolution face recognition; {\em (ii)} we study face re-identification on various public face datasets including real surveillance and low-resolution subsets of large-scale datasets, present a baseline result for several deep learning based approaches, and improve them by introducing a GAN pre-training approach and fully convolutional architecture; and {\em (iii)} we explore low-resolution face identification by employing a state-of-the-art supervised discriminative learning approach. Evaluations are conducted on challenging portions of the SCFace and UCCSface datasets.

研究动机与目标

• 解决在非理想监控条件下（如模糊、光照不足、非正面姿态）持续存在的低分辨率人脸识别挑战。
• 评估并改进用于增强低质量人脸图像以支持识别的超分辨率技术。
• 在包含低分辨率子集的公开数据集上建立基线，并提升基于深度学习的人脸重识别方法。
• 探索使用当前最优模型的有监督判别性学习，以实现低分辨率人脸识别。
• 展示可实际应用于真实世界监控应用的高性能解决方案。

提出的方法

• 在识别之前应用超分辨率方法以增强低分辨率人脸图像，从而提升下游模型的输入质量。
• 提出一种基于生成对抗网络的预训练策略，以提升深度人脸重识别模型在低分辨率数据上的特征学习能力。
• 设计并实现一种全卷积神经网络架构，以支持端到端学习，并从低分辨率输入中提取更好的特征。
• 利用包含真实监控数据和低分辨率子集的大规模数据集，以在真实条件下训练和评估模型。
• 将有监督判别性学习与增强的特征表示相结合，以提升低分辨率人脸的识别准确率。
• 在SCFace和UCCSface数据集上进行实验，以验证所提方法在具有挑战性的现实条件下的有效性。

实验结果

研究问题

• RQ1 超分辨率技术在提升野外采集的低分辨率人脸识别准确率方面有多有效？
• RQ2 基于生成对抗网络的预训练在多大程度上能增强深度学习模型在低分辨率人脸重识别中的性能？
• RQ3 与标准卷积神经网络相比，全卷积神经网络架构在低分辨率人脸识别中的性能提升如何？
• RQ4 在低分辨率人脸数据集上，结合生成对抗网络预训练与全卷积神经网络能带来多大的性能提升？
• RQ5 所提出的方法与现有基线在SCFace和UCCSface的挑战性子集上的表现相比如何？

主要发现

• 超分辨率技术显著提升了低分辨率人脸的识别性能，尤其是在与深度学习模型结合时。
• 所提出的基于生成对抗网络的预训练方法在低分辨率数据上实现了可测量的人脸重识别准确率提升。
• 全卷积神经网络架构相比标准卷积层，在低分辨率输入上实现了更优的特征学习和泛化能力。
• 生成对抗网络预训练与全卷积神经网络的结合在所评估的低分辨率人脸数据集上达到了当前最优性能。
• 所提出的方法在真实世界监控数据上表现出鲁棒性和实际适用性，尤其在SCFace和UCCSface的挑战性部分表现突出。