[论文解读] Deep Learning Face Representation by Joint Identification-Verification

Yi Sun, Xiaogang Wang+1 more|arXiv (Cornell University)|Jun 18, 2014

Face recognition and analysis参考文献 28被引用 1,789

一句话总结

本文提出 DeepID2，一种深度卷积神经网络，通过联合优化人脸识别与验证信号来学习鲁棒的人脸表征。通过同时增加跨身份差异（通过识别）并减少同身份差异（通过验证），该方法在 LFW 基准测试中实现了 99.15% 的人脸识别准确率——相比先前最先进方法，错误率降低了 67%。

ABSTRACT

The key challenge of face recognition is to develop effective feature representations for reducing intra-personal variations while enlarging inter-personal differences. In this paper, we show that it can be well solved with deep learning and using both face identification and verification signals as supervision. The Deep IDentification-verification features (DeepID2) are learned with carefully designed deep convolutional networks. The face identification task increases the inter-personal variations by drawing DeepID2 extracted from different identities apart, while the face verification task reduces the intra-personal variations by pulling DeepID2 extracted from the same identity together, both of which are essential to face recognition. The learned DeepID2 features can be well generalized to new identities unseen in the training data. On the challenging LFW dataset, 99.15% face verification accuracy is achieved. Compared with the best deep learning result on LFW, the error rate has been significantly reduced by 67%.

研究动机与目标

• 解决非约束环境下人脸识别中的人脸内部差异（如姿态、光照）与跨身份差异的挑战。
• 提升所学习特征在训练数据之外的新身份和新任务上的泛化能力。
• 探究结合识别与验证监督信号是否相比单独使用任一信号，能获得更优的深度人脸表征。
• 开发一种特征学习框架，以增强在多种人脸条件下的判别能力与鲁棒性。
• 仅使用面部区域输入，在 LFW 基准测试中实现最先进性能，达到人类水平的准确率。

提出的方法

• 使用人脸识别（8192 个身份的多分类）和人脸验证（图像对的二分类）作为监督信号，训练深层卷积神经网络。
• 采用联合损失函数，结合识别任务的交叉熵损失与类似三元组的验证损失（L2 范数），以优化特征学习。
• 从每张人脸图像的多个空间块和分辨率中提取 DeepID2 特征，以捕捉局部与全局人脸模式。
• 通过主成分分析（PCA）将拼接后的 DeepID2 特征降维至 180 维，以实现高效下游处理。
• 在 PCA 降维后的特征上应用联合贝叶斯模型进行人脸验证，最终通过 SVM 对七个独立选择的块集进行分数融合。
• 使用基于边距的验证损失（L2+），通过仅最小化同身份特征间的距离，专门减少内部差异。

实验结果

研究问题

• RQ1 与单独使用任一信号相比，是否可以通过联合使用识别与验证任务的监督信号，共同提升深度人脸表征学习？
• RQ2 识别与验证信号的结合如何影响所学习特征在未见身份和验证任务上的泛化能力？
• RQ3 不同验证损失函数（如 L2、L2+、L2-、L1、余弦）在减少内部差异方面的相对贡献是什么？
• RQ4 当有效融合时，来自多个面部块和分辨率的互补特征在多大程度上能提升验证准确率？
• RQ5 基于深度学习的系统是否能仅使用面部区域输入，在 LFW 基准测试中实现人类水平的性能？

主要发现

• 所提出的 DeepID2 模型在 LFW 数据集上实现了 99.15% 的人脸识别准确率，创下当时新的最先进水平。
• 与之前最佳深度学习结果（97.45% 准确率）相比，联合使用识别与验证信号使错误率降低了 67%。
• 仅最小化同身份距离的 L2+ 验证损失显著优于 L2- 或无验证信号，证实其在减少内部差异方面的有效性。
• L2 损失在验证准确率上优于 L1、余弦及无验证信号，表明其对同身份一致性具有更强的正则化能力。
• 通过 SVM 融合七个独立选择的块集特征，验证准确率从 98.97% 提升至 99.15%，证明多尺度、多区域特征聚合的优势。
• 该模型在新身份和新任务上泛化良好，LFW 上的高性能表现表明其无需背景上下文或外部数据支持。