[论文解读] Low-Resolution Face Recognition

Zhiyi Cheng, Xiatian Zhu+1 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Image Processing Techniques参考文献 47被引用 6

一句话总结

该论文提出了一种新颖的互补超分辨率与身份识别（CSRI）联合深度学习框架，用于低分辨率人脸识别（LRFR），通过端到端训练同时增强面部细节并提升身份判别能力。该方法在新提出的大型TinyFace基准上显著优于当前最先进模型，在原生低分辨率图像上实现了44.8%的Rank-1准确率——较次佳模型高出12.7%，并揭示了现有人脸识别模型在真实世界低分辨率数据测试中存在显著性能差距。

ABSTRACT

Many face recognition approaches expect the input images to have similar image resolution. However, in real-world applications, the image resolution varies due to different image capture mechanisms or sources, affecting the performance of face recognition systems. This work first analyzes the image resolution susceptibility of modern face recognition. Face verification on the very popular LFW dataset drops from 99.23% accuracy to almost 55% when image dimensions of both images are reduced to arguable very poor resolution. With cross-resolution image pairs (one HR and one LR image), face verification accuracy is even worse. This characteristic is investigated more in-depth by analyzing the feature distances utilized for face verification. To increase the robustness, we propose two training strategies applied to a state-of-the-art face recognition model: 1) Training with 50% low resolution images within each batch and 2) using the cosine distance loss between high and low resolution features in a siamese network structure. Both methods significantly boost face verification accuracy for matching training and testing image resolutions. Training a network with different resolutions simultaneously instead of adding only one specific low resolution showed improvements across all resolutions and made a single model applicable to unknown resolutions. However, models trained for one particular low resolution perform better when using the exact resolution for testing. We improve the face verification accuracy from 96.86% to 97.72% on the popular LFW database with uniformly distributed image dimensions between 112 × 112 px and 5 × 5 px. Our approaches improve face verification accuracy even more from 77.56% to 87.17% for distributions focusing on lower images resolutions. Lastly, we propose specific image dimension sets focusing on high, mid, and low resolution for five well-known datasets to benchmark face verification accuracy in cross-resolution scenarios.

研究动机与目标

• 为解决在监控和非受限场景中常见的原生低分辨率（LR）图像上人脸识别性能显著下降的问题，而这些数据在现有基准中研究不足。
• 开发一种统一的深度学习框架，联合优化超分辨率与身份识别，以提升LRFR的泛化能力。
• 创建一个大规模、真实的基准——TinyFace，包含169,403张来自多样化真实场景的原生LR人脸图像（20×16像素），以支持LRFR方法的严格评估。
• 证明现有最先进人脸识别模型在原生LR数据上测试时性能显著下降，而其在人工下采样或高分辨率基准上的表现则优异。
• 表明将超分辨率作为独立预处理流程会损害人脸识别性能，因引入噪声和伪影，而通过互补性的联合学习对实现鲁棒LRFR至关重要。

提出的方法

• 提出一种统一的端到端深度神经网络架构，联合学习超分辨率与身份识别，实现图像增强与判别性特征学习之间的兼容性。
• 引入互补超分辨率（CSR）学习，通过身份约束的小批量训练，将高质量HR网络图像的超分辨率知识迁移至原生LR人脸，克服HR-LR配对数据缺失的问题。
• 采用双分支网络结构：一个分支对LR人脸执行超分辨率，另一个分支执行身份分类，共享特征提取并支持端到端反向传播。
• 采用损失函数，结合身份分类损失（交叉熵）与超分辨率损失（如感知损失或L1损失），联合优化两项任务。
• 在小批量中应用数据增强与身份感知采样，确保超分辨率过程受身份一致性引导，从而提升特征质量与识别准确率。
• 先在合成LR数据（来自CelebA）上进行初始SR学习，再在TinyFace数据集上微调以实现身份特定适应。

实验结果

研究问题

• RQ1 与在高分辨率基准上的表现相比，当前最先进人脸识别模型在真实世界非受限场景下的原生低分辨率人脸图像上的表现如何？
• RQ2 与独立处理相比，联合学习超分辨率与身份识别是否能提升原生低分辨率图像上的人脸识别准确率？
• RQ3 互补超分辨率学习——即从HR图像向原生LR人脸迁移知识——对识别性能有何影响？
• RQ4 当在大规模、真实的原生LR基准（如TinyFace）上评估时，现有超分辨率与人脸识别模型的性能如何退化？
• RQ5 将超分辨率作为预处理步骤，对原生LR图像上的人脸识别是有益还是有害的？

主要发现

• 所提出的CSRI模型在TinyFace基准上实现了44.8%的Rank-1识别准确率，较次佳模型CentreFace（32.1%）提升了12.7个百分点的绝对准确率。
• SOTA人脸识别模型在TinyFace（32.1% Rank-1）上的性能相比MegaFace（65.2% Rank-1）下降超过50%，揭示了其在真实世界应用中的关键缺陷。
• SR-FR联合学习相比独立学习将Rank-1准确率提升了10.1%（从26.0%提升至36.1%），证明了端到端优化的优势。
• 互补超分辨率学习使性能提升8.7%（从36.1%提升至44.8% Rank-1），证实其在将HR知识迁移至原生LR数据方面的有效性。
• 将超分辨率作为独立预处理步骤（如使用SRCNN、VDSR）会损害人脸识别性能，因引入噪声和伪影，此类方法甚至劣于基线的双三次插值上采样。
• TinyFace数据集包含169,403张原生LR人脸图像（20×16像素），涵盖5,139个身份，提供了真实且具有挑战性的基准，揭示了当前FR模型在真实世界低分辨率数据上的局限性。