[论文解读] Synthesis-based Robust Low Resolution Face Recognition

Sumit Shekhar, Vishal M. Patel+1 more|arXiv (Cornell University)|Jul 10, 2017

Sparse and Compressive Sensing Techniques参考文献 29被引用 16

一句话总结

该论文提出了一种基于合成的生成方法，用于实现鲁棒的低分辨率人脸识别，该方法利用高分辨率图库图像来合成光照鲁棒的训练数据，并使用稀疏编码学习类特定的、分辨率匹配的字典。该方法在标准数据集和户外数据集上均取得了最先进性能，其中核化和联合稀疏编码变体在具有挑战性的低分辨率、光照变化数据上将识别率提高了高达71.1%。

ABSTRACT

Recognition of low resolution face images is a challenging problem in many practical face recognition systems. Methods have been proposed in the face recognition literature for the problem which assume that the probe is low resolution, but a high resolution gallery is available for recognition. These attempts have been aimed at modifying the probe image such that the resultant image provides better discrimination. We formulate the problem differently by leveraging the information available in the high resolution gallery image and propose a dictionary learning approach for classifying the low-resolution probe image. An important feature of our algorithm is that it can handle resolution change along with illumination variations. Furthermore, we also kernelize the algorithm to handle non-linearity in data and present a joint dictionary learning technique for robust recognition at low resolutions. The effectiveness of the proposed method is demonstrated using standard datasets and a challenging outdoor face dataset. It is shown that our method is efficient and can perform significantly better than many competitive low resolution face recognition algorithms.

研究动机与目标

• 解决在光照、姿态和模糊变化等非受控条件下低分辨率人脸识别的挑战。
• 通过利用高分辨率图库图像合成多样化的训练样本，而非仅依赖于探测图像的超分辨率，来提高识别准确率。
• 开发一种鲁棒且计算高效的算法，能够同时处理分辨率变化和光照变化。
• 通过核化和联合稀疏编码框架增强性能，以建模非线性数据关系。

提出的方法

• 该方法使用图像光照重制技术，为每个高分辨率图库图像生成多个光照变体，以提高对光照变化的鲁棒性。
• 将合成的图库图像的分辨率下采样至与探测图像分辨率一致，以确保训练阶段的对齐。
• 针对每个主体，在分辨率匹配且光照增强的图库数据上使用K-SVD训练类特定字典。
• 在测试阶段，将探测图像投影到每个类特定字典的张成空间中，并基于重构误差进行分类。
• 将算法核化以处理非线性数据分布，并引入双层稀疏编码框架以提升鲁棒性。
• 提出一种联合稀疏编码策略，同时优化重构与分类，从而在低分辨率和光照变化条件下提升性能。

实验结果

研究问题

• RQ1 能否通过从高分辨率图库图像合成光照变化的训练数据的生成方法，提升在光照变化条件下的低分辨率人脸识别性能？
• RQ2 字典学习过程的核化对非线性、低分辨率人脸数据的识别性能有何影响？
• RQ3 双层稀疏编码框架是否能在存在分辨率和光照变化的低分辨率人脸识别中优于标准稀疏编码？
• RQ4 当探测图像与图库图像在分辨率和光照上存在差异时，所提出方法是否仍能保持高准确率，尤其是在真实户外条件下？

主要发现

• 在AR数据集上，探测图像分辨率为14×10时，所提出的kerSLRFR方法实现了78.3%的rank-1识别率，优于CLPM及其他基线方法。
• 在具有挑战性的户外人脸数据集上，探测图像分辨率为20×20时，kerSLRFR和jointKerSLRFR方法分别实现了71.1%的识别准确率，显著优于CLPM（16.7%）和reg LDA（60%）。
• SLRFR方法在户外数据集上实现了67.8%的识别率，表现出对模糊、姿态和光照变化的鲁棒性。
• 该方法计算效率高，平均仅需0.1秒即可完成7×6分辨率探测图像的分类，适用于实时应用。
• 利用高分辨率图库图像合成多样化训练样本，显著提升了泛化能力，尤其当每个主体仅有一个高分辨率图库图像时效果更明显。