[论文解读] Masked Face Recognition with Generative-to-Discriminative Representations

Shiming Ge, Weijia Guo+4 more|arXiv (Cornell University)|May 27, 2024

Face recognition and analysis被引用 4

一句话总结

该论文提出了一种用于遮挡面部识别的生成式到判别式的表征学习框架，采用三模块神经网络：一个预训练的生成式编码器，用于生成对遮挡鲁棒、类别感知的描述符；一个通过知识蒸馏微调的判别式重构器，用于生成身份感知特征；以及一个分类器头。该方法在合成与真实遮挡面部基准测试中均达到最先进性能，在CPLFW上达到92.86%的准确率，在使用ArcFace作为教师模型的合成LFW上达到98.02%的准确率。

ABSTRACT

Masked face recognition is important for social good but challenged by diverse occlusions that cause insufficient or inaccurate representations. In this work, we propose a unified deep network to learn generative-to-discriminative representations for facilitating masked face recognition. To this end, we split the network into three modules and learn them on synthetic masked faces in a greedy module-wise pretraining manner. First, we leverage a generative encoder pretrained for face inpainting and finetune it to represent masked faces into category-aware descriptors. Attribute to the generative encoder's ability in recovering context information, the resulting descriptors can provide occlusion-robust representations for masked faces, mitigating the effect of diverse masks. Then, we incorporate a multi-layer convolutional network as a discriminative reformer and learn it to convert the category-aware descriptors into identity-aware vectors, where the learning is effectively supervised by distilling relation knowledge from off-the-shelf face recognition model. In this way, the discriminative reformer together with the generative encoder serves as the pretrained backbone, providing general and discriminative representations towards masked faces. Finally, we cascade one fully-connected layer following by one softmax layer into a feature classifier and finetune it to identify the reformed identity-aware vectors. Extensive experiments on synthetic and realistic datasets demonstrate the effectiveness of our approach in recognizing masked faces.

研究动机与目标

• 解决现实应用中因遮挡和信息丢失导致的遮挡面部识别挑战。
• 通过结合生成式与判别式方法的优势，克服纯生成式或判别式方法的局限：生成式模型用于上下文恢复，判别式模型用于身份区分。
• 开发一种统一的、端到端可训练框架，同时在遮挡与未遮挡面部上保持高性能。
• 通过学习一致的身份感知表征，提升对多种遮挡类型（语义差异）的鲁棒性。
• 通过高效的推理速度（在RTX 3090上达到23.35 FPS）实现实际部署。

提出的方法

• 利用预训练的面部修复编码器作为生成式编码器，微调以从遮挡面部生成类别感知描述符，利用其恢复上下文面部信息的能力。
• 引入一个22层卷积判别式重构器，通过来自预训练面部识别模型（如ArcFace或VGGFace2）的知识蒸馏，将类别感知描述符转换为身份感知特征。
• 采用多损失训练策略：交叉熵损失用于身份分类，L1损失用于特征重建，知识蒸馏用于从教师模型迁移关系感知表征。
• 执行贪婪的、模块化的预训练：首先在合成遮挡面部上预训练生成式编码器，然后联合微调判别式重构器与特征分类器，利用蒸馏与分类信号。
• 预训练完成后冻结主干网络（生成式编码器 + 判别式重构器），仅在下游识别任务上微调最终的分类器头。
• 使用数据增强与合成遮挡面部生成技术，提升对多种遮挡类型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 结合生成式与判别式组件的统一网络架构，是否能相比独立的生成式或判别式模型，提升遮挡面部识别的准确率？
• RQ2 从高精度面部识别器蒸馏知识，是否能增强从遮挡面部学习到的表征的判别能力？
• RQ3 在面部修复任务上预训练的生成式编码器，是否能生成鲁棒、对遮挡不变的描述符，并泛化到遮挡面部识别任务？
• RQ4 所提出的生成式到判别式流水线在合成与真实遮挡面部数据集上的表现如何？
• RQ5 该方法在提升遮挡面部识别性能的同时，对未遮挡面部识别性能的保持程度如何？

主要发现

• 所提出的G2D模型在CPLFW遮挡面部识别基准上达到92.86%的准确率，优于先前方法（包括MaskInv与SphereFace）。
• 在合成遮挡LFW上，当使用ArcFace作为蒸馏教师时，模型达到98.02%的验证准确率，高于使用VGGFace2时的97.58%。
• 所学习表征的相似度分数分布显示正样本对与负样本对之间重叠极小，表明其判别能力接近理想情况。
• 该模型在正常面部识别任务上也保持了优异性能，在CPLFW上达到92.23%的准确率，表明其对遮挡与未遮挡输入均具备鲁棒性。
• 在单张RTX 3090 GPU上，推理速度达到23.35 FPS，证明其在城市治理与公共安全系统中实时部署的可行性。
• 消融实验表明，知识蒸馏比直接使用交叉熵监督在身份学习上更有效，采用蒸馏训练的模型表现出更好的收敛性与性能。