[论文解读] Low Resolution Face Recognition Using a Two-Branch Deep Convolutional Neural Network Architecture

Erfan Zangeneh, Mohammad Rahmati+1 more|arXiv (Cornell University)|Jun 19, 2017

Advanced Image Processing Techniques被引用 13

一句话总结

本文提出一种用于低分辨率人脸识别的双分支深度卷积神经网络（DCNN），联合学习非线性特征映射与超分辨率重建。通过端到端联合训练一个5层超分辨率网络与一个14层特征提取器，最小化共享嵌入空间中的图像间距离，该方法在6×6像素探测图像上的识别准确率比当前最先进方法高出11.4%，同时生成针对识别优化的高质量高分辨率人脸重建结果。

ABSTRACT

We propose a novel couple mappings method for low resolution face recognition using deep convolutional neural networks (DCNNs). The proposed architecture consists of two branches of DCNNs to map the high and low resolution face images into a common space with nonlinear transformations. The branch corresponding to transformation of high resolution images consists of 14 layers and the other branch which maps the low resolution face images to the common space includes a 5-layer super-resolution network connected to a 14-layer network. The distance between the features of corresponding high and low resolution images are backpropagated to train the networks. Our proposed method is evaluated on FERET data set and compared with state-of-the-art competing methods. Our extensive experimental results show that the proposed method significantly improves the recognition performance especially for very low resolution probe face images (11.4% improvement in recognition accuracy). Furthermore, it can reconstruct a high resolution image from its corresponding low resolution probe image which is comparable with state-of-the-art super-resolution methods in terms of visual quality.

研究动机与目标

• 解决真实监控场景中探测图像分辨率极低（通常低于32×24像素）时的低分辨率人脸识别挑战。
• 克服现有方法的局限性，即要么丢弃高分辨率图库信息，要么仅优化超分辨率的视觉质量。
• 利用深度学习提出一种非线性耦合映射方法，将低分辨率与高分辨率人脸特征对齐于共享空间。
• 同时提升识别准确率，并生成对识别最优的超分辨率人脸图像，而不仅追求视觉美观。
• 设计一种轻量化模型，其内存占用远低于标准深度网络（如VGGNet），适用于资源受限系统部署。

提出的方法

• 该架构采用两个DCNN分支：一个用于高分辨率（HR）图像（14层），另一个用于低分辨率（LR）图像，后者结合了5层超分辨率网络与14层特征提取器。
• 网络通过对比损失进行端到端联合训练，以最小化对应HR与LR人脸对在嵌入空间中的L2距离。
• 超分辨率分支从LR输入重建高分辨率图像，其权重在联合训练过程中更新，以提升识别性能。
• 该方法采用共享嵌入空间，使同一身份的特征彼此靠近，从而在低分辨率条件下增强可区分性。
• 训练过程通过识别损失反向传播至超分辨率与特征提取组件，使重建与识别目标保持一致。
• 在FERET数据集上通过多种配置对模型进行评估，包括使用双三次插值和稀疏编码替代SR网络的消融实验。

实验结果

研究问题

• RQ1 与现有方法相比，基于深度学习的耦合映射方法是否能显著提升极低分辨率人脸图像的识别准确率？
• RQ2 将超分辨率网络与特征提取器联合训练，是否能带来优于分别训练或使用标准超分辨率技术的识别性能？
• RQ3 在所提框架中，重建高分辨率图像的视觉质量与识别性能之间的相关性如何？
• RQ4 在低分辨率人脸识别基准测试中，该方法与当前最先进超分辨率与耦合映射方法相比，在性能与效率方面表现如何？
• RQ5 该模型能否在保持小内存占用的前提下实现高识别准确率，从而适用于标准硬件的部署？

主要发现

• 与当前最先进方法相比，该方法在6×6像素探测图像上的识别准确率提升11.4%，证明其在极端低分辨率条件下具有强大鲁棒性。
• 该方法在所有探测图像分辨率下均优于竞争方法，尤其在最具挑战性的低分辨率区域取得最大提升。
• 联合训练超分辨率与特征提取网络显著优于使用独立或预训练SR组件的配置，识别性能明显提升。
• 重建高分辨率人脸的视觉质量与当前最先进超分辨率方法相当，尽管在PSNR和SSIM指标上略低于前两名方法。
• 该模型的内存占用远低于标准深度网络（如VGGNet），适用于计算资源受限系统的部署。
• PSNR与SSIM在测试图像上的方差表明，超分辨率网络更注重识别优化的重建，而非一致的视觉增强。