[论文解读] Analysis of face detection, face landmarking, and face recognition performance with masked face images

Ožbej Golob|arXiv (Cornell University)|Jun 3, 2022

Face recognition and analysis被引用 4

一句话总结

本研究评估了口罩对基于HOG和CNN检测器、5点与68点关键点预测器以及基于VGG16的人脸识别模型在人脸检测、关键点定位和识别方面的影响。结果表明，由于口罩遮挡，所有任务的性能均显著下降，人脸识别准确率在遮挡图像上下降了9.9%；然而，通过在遮挡数据上微调模型，准确率提升至95.2%。

ABSTRACT

Face recognition has become an essential task in our lives. However, the current COVID-19 pandemic has led to the widespread use of face masks. The effect of wearing face masks is currently an understudied issue. The aim of this paper is to analyze face detection, face landmarking, and face recognition performance with masked face images. HOG and CNN face detectors are used for face detection in combination with 5-point and 68-point face landmark predictors and VGG16 face recognition model is used for face recognition on masked and unmasked images. We found that the performance of face detection, face landmarking, and face recognition is negatively impacted by face masks

研究动机与目标

• 评估口罩对人脸检测、关键点定位和识别性能的影响。
• 评估HOG和CNN人脸检测器在口罩遮挡下的鲁棒性。
• 测量口罩导致5点和68点人脸关键点定位准确率下降的程度。
• 探究在遮挡图像上微调预训练的VGG16模型是否能提升识别准确率。
• 量化在多个基准数据集上，有无口罩遮挡时性能损失的程度。

提出的方法

• 人脸检测采用Dlib中实现的基于HOG和基于CNN的检测器完成。
• 关键点定位性能通过相对于眼间距（IOD）的归一化均方根误差（NRMSE）进行评估，适用于5点和68点预测器。
• NRMSE通过计算真实关键点坐标与预测关键点坐标之间的欧氏距离，并以IOD为基准进行归一化，按图像计算得出。
• 人脸识别采用微调后的VGG16模型，其最后的全连接层被替换为Softmax分类器以实现分类。
• VGG16模型首先在未遮挡图像上进行训练，随后在CASIA数据集的遮挡图像上重新训练。
• 性能在四个野外数据集（LFPW、HELEN、AFW和IBUG）上进行评估，遮挡版本通过MaskTheFace工具生成。

实验结果

研究问题

• RQ1 口罩遮挡如何影响基于HOG和CNN的人脸检测器的准确率？
• RQ2 佩戴口罩在多大程度上降低了5点和68点关键点定位模型的性能？
• RQ3 与使用预训练VGG16模型在未遮挡图像上的表现相比，使用遮挡图像时人脸识别准确率如何变化？
• RQ4 在遮挡图像上微调人脸识别模型是否能缓解性能下降？
• RQ5 口罩遮挡对人脸识别流程中不同组件的相对影响是什么？

主要发现

• 基于HOG的人脸检测器准确率从未遮挡图像的89.0%降至遮挡图像的64.7%，平均下降24.3个百分点。
• 基于CNN的人脸检测器准确率从98.5%降至77.8%，平均下降20.7个百分点。
• 使用HOG检测器时，68点关键点定位的NRMSE从0.066增至0.171（接近3倍）；使用CNN检测器时，从0.115增至0.214（接近2倍）。
• 使用HOG检测器时，5点关键点定位的NRMSE从0.060增至0.128（2倍）；使用CNN检测器时，从0.067增至0.129（2倍）。
• 使用预训练于未遮挡图像的VGG16模型时，遮挡图像上的人脸识别准确率从96.6%（未遮挡）降至86.7%。
• 在遮挡图像上微调VGG16模型后，遮挡图像上的识别准确率提升至95.2%，证明了领域特定微调的有效性。