[论文解读] Face Recognition Using Deep Multi-Pose Representations

Wael AbdAlmageed, Yue Wua+10 more|arXiv (Cornell University)|Mar 23, 2016

Face recognition and analysis参考文献 21被引用 21

一句话总结

本文提出一种用于人脸识别的深度多姿态表征方法，通过使用姿态特定的卷积神经网络（CNN）来提升对姿态变化的鲁棒性。通过从单张图像生成多个3D渲染的人脸姿态，并利用专用CNN提取特征，该方法在IARPA的CS2和NIST的IJB-A基准上实现了最先进性能，且无需领域特定微调或度量学习。

ABSTRACT

We introduce our method and system for face recognition using multiple pose-aware deep learning models. In our representation, a face image is processed by several pose-specific deep convolutional neural network (CNN) models to generate multiple pose-specific features. 3D rendering is used to generate multiple face poses from the input image. Sensitivity of the recognition system to pose variations is reduced since we use an ensemble of pose-specific CNN features. The paper presents extensive experimental results on the effect of landmark detection, CNN layer selection and pose model selection on the performance of the recognition pipeline. Our novel representation achieves better results than the state-of-the-art on IARPA's CS2 and NIST's IJB-A in both verification and identification (i.e. search) tasks.

研究动机与目标

• 解决非约束环境下姿态变化带来的挑战，该问题在真实场景中显著降低性能。
• 克服现有方法将姿态变化隐式处理而非显式建模的局限性。
• 开发一种利用多种姿态特定深度特征的表征框架，以提升在多样化姿态条件下的识别准确率。
• 在IJB-A和CS2等基准数据集上实现卓越性能，且无需领域自适应或度量学习。
• 研究关键点检测、CNN层选择和姿态模型选择对识别流程性能的影响。

提出的方法

• 使用3D人脸建模与渲染技术，从单张输入图像生成多个3D渲染的人脸姿态。
• 为每种姿态类别（如正脸、侧脸、偏航45°等）训练独立的深度CNN模型（如AlexNet和VGG19），以学习姿态特定的特征。
• 从每个姿态特定的CNN中提取深度特征，并通过集成策略进行组合，用于相似性比较。
• 仅使用相同姿态的特征比较进行人脸识别与验证，以保持一致性并减少姿态相关误差。
• 使用CASIA-WebFace进行训练，并执行数据整理步骤：移除重叠主体、图像数量过少的主体以及无法检测到人脸的样本。
• 将多姿态表征应用于IJB-A（开放集识别与验证）和CS2（闭集识别）数据集进行评估。

实验结果

研究问题

• RQ1 使用姿态特定CNN显式建模多种人脸姿态，对在挑战性基准上的识别性能有何影响？
• RQ2 关键点检测质量对姿态估计准确性和后续特征提取有何影响？
• RQ3 哪些CNN层和架构（如AlexNet与VGG19）能为多姿态表征生成最具判别力的特征？
• RQ4 姿态表征数量（如单个、四个、五个）如何影响识别准确率？
• RQ5 一种无需任何数据特定调整的即插即用深度学习流程，能否超越依赖微调和度量学习的最先进方法？

主要发现

• 所提出的多姿态表征在IJB-A和CS2基准上显著优于单姿态CNN表征。
• 五姿态表征（使用五种姿态类型：FF、PF、FY0、FY45、FY75）在IJB-A上实现了TAR@FAR=0.01为0.876，在CS2上为0.897，超越了先前最先进方法。
• 在IJB-A上，该方法在1:N搜索中实现了RANK@1为0.846和RANK@10为0.947，RANK@10优于此前最佳结果0.820。
• 基于VGG19的五姿态模型在CS2上实现了TAR@FAR=0.10为0.959，优于此前最先进方法的0.895。
• 随着姿态表征数量的增加，性能持续提升，证实了多姿态集成的优势。
• 该方法在无需任何领域特定微调或度量学习的情况下实现了最先进结果，证明了其良好的泛化能力。