[论文解读] Image Resolution Susceptibility of Face Recognition Models.

Martin Knoche, Stefan Hörmann+1 more|arXiv (Cornell University)|Jul 8, 2021

Face recognition and analysis参考文献 35被引用 5

一句话总结

本文研究了在不同图像分辨率下，尤其是跨分辨率配对时，人脸识别性能的退化问题。提出两种方法——使用低分辨率数据进行训练，以及采用余弦距离损失的孪生网络，以提升鲁棒性，在5×5像素分辨率下达到约70%的准确率，但需针对每对分辨率重新训练模型。

ABSTRACT

Face recognition approaches often rely on equal image resolution for verification faces on two images. However, in practical applications, those image resolutions are usually not in the same range due to different image capture mechanisms or sources. In this work, we first analyze the impact of image resolutions on the face verification performance with a state-of-the-art face recognition model. For images, synthetically reduced to $5\, imes 5\, \mathrm{px}$ resolution, the verification performance drops from $99.23\%$ increasingly down to almost $55\%$. Especially, for cross-resolution image pairs (one high- and one low-resolution image), the verification accuracy decreases even further. We investigate this behavior more in-depth by looking at the feature distances for every 2-image test pair. To tackle this problem, we propose the following two methods: 1) Train a state-of-the-art face-recognition model straightforward with $50\%$ low-resolution images directly within each batch. 2) Train a siamese-network structure and adding a cosine distance feature loss between high- and low-resolution features. Both methods show an improvement for cross-resolution scenarios and can increase the accuracy at very low resolution to approximately $70\%$. However, a disadvantage is that a specific model needs to be trained for every resolution-pair ...

研究动机与目标

• 分析使用最先进人脸识别模型时，图像分辨率对人脸识别验证性能的影响。
• 识别在跨分辨率场景下（一张高分辨率图像与一张低分辨率图像配对）与同分辨率配对相比的性能下降程度。
• 开发在低分辨率条件下提升人脸识别鲁棒性的方法，尤其针对跨分辨率验证。
• 评估针对低分辨率数据进行专门训练，或采用具有特征距离损失的孪生网络架构，是否能缓解由分辨率引起的性能下降。

提出的方法

• 使用50%低分辨率图像（下采样至5×5像素）进行训练，以提升模型对低分辨率输入的泛化能力。
• 设计一种孪生网络架构，以并行方式处理高分辨率与低分辨率图像对，共享特征提取分支。
• 在高分辨率与低分辨率图像的特征嵌入之间引入余弦距离损失，以在分辨率差异下仍能鼓励特征相似性。
• 使用三元组损失和所提出的余弦距离损失，对孪生模型进行端到端优化，以对齐不同分辨率水平下的特征。
• 为每对分辨率分别训练模型，以确保在特定分辨率组合下的最佳性能。
• 通过特征距离分析和验证准确率指标，评估在跨分辨率验证任务中的性能表现。

实验结果

研究问题

• RQ1 图像分辨率如何影响最先进人脸识别模型的验证准确率？
• RQ2 在将高分辨率图像与低分辨率图像匹配时（即跨分辨率配对），性能下降的程度有多大？
• RQ3 使用低分辨率图像进行训练是否能提升模型对分辨率变化的鲁棒性？
• RQ4 采用高分辨率与低分辨率特征之间余弦距离损失的孪生网络，是否能提升跨分辨率验证的准确率？
• RQ5 所提出的方法在极低分辨率（如5×5像素）下，能在多大程度上恢复性能？

主要发现

• 当图像分辨率从高分辨率降至5×5像素时，验证准确率从99.23%下降至约55%。
• 与同分辨率配对相比，跨分辨率验证（一张高分辨率图像与一张低分辨率图像配对）的准确率进一步下降。
• 通过使用50%低分辨率图像进行训练的方法，显著提升了跨分辨率性能，在5×5像素分辨率下达到约70%的准确率。
• 采用余弦距离特征损失的孪生网络也使5×5像素分辨率下的准确率达到约70%。
• 两种方法在低分辨率和跨分辨率场景下均表现出可测量的性能提升，但需针对每对分辨率重新训练。
• 特征距离分析表明，分辨率不匹配会导致类间距离增大，从而证明了进行分辨率感知训练的必要性。