[论文解读] DeepID3: Face Recognition with Very Deep Neural Networks

Yi Sun, Ding Liang+2 more|arXiv (Cornell University)|Feb 3, 2015

Face recognition and analysis参考文献 16被引用 895

一句话总结

本文提出 DeepID3，一种基于 VGG 和 GoogLeNet 组件的非常深的神经网络架构，用于人脸识别，采用联合识别-验证监督。其在 LFW 上实现了 99.53% 的人脸识别准确率和 96.0% 的 rank-1 识别准确率，但当对 LFW 测试对中的错误标注进行校正后，性能提升消失。

ABSTRACT

The state-of-the-art of face recognition has been significantly advanced by the emergence of deep learning. Very deep neural networks recently achieved great success on general object recognition because of their superb learning capacity. This motivates us to investigate their effectiveness on face recognition. This paper proposes two very deep neural network architectures, referred to as DeepID3, for face recognition. These two architectures are rebuilt from stacked convolution and inception layers proposed in VGG net and GoogLeNet to make them suitable to face recognition. Joint face identification-verification supervisory signals are added to both intermediate and final feature extraction layers during training. An ensemble of the proposed two architectures achieves 99.53% LFW face verification accuracy and 96.0% LFW rank-1 face identification accuracy, respectively. A further discussion of LFW face verification result is given in the end.

研究动机与目标

• 探究在通用物体识别中表现成功的非常深的神经网络是否能提升人脸识别性能。
• 解决尽管深度学习取得进展，但个体内部差异仍限制识别准确率的问题。
• 探索堆叠多个卷积层和 Inception 层在学习复杂面部特征方面的有效性。
• 评估更深的架构是否在 LFW 等标准基准上优于如 DeepID2+ 这类浅层模型。
• 考察 LFW 数据集中标签错误对报告性能指标的影响。

提出的方法

• 提出两种深度架构，DeepID3 net1 和 net2，基于 VGG 和 GoogLeNet 组件，使用堆叠的卷积层和 Inception 层构建。
• 在中间和最终特征提取层引入联合的人脸识别-验证监督信号，以减少个体内部差异。
• 在部分 DeepID3 网络的高层使用非共享权重，以学习更丰富的面部特征集合。
• 在应用联合贝叶斯模型进行识别前，使用特征集成和 PCA 将维度从约 30,000 降低到 300 维。
• 在与 DeepID2+ 相同的数据集上进行训练，以确保公平比较。
• 在标准 LFW 协议下，对人脸验证和闭集/开集识别任务进行性能评估。

实验结果

研究问题

• RQ1 能否有效将通用图像识别中的非常深神经网络（如 VGG、GoogLeNet）适配用于人脸识别？
• RQ2 与单监督方法相比，联合识别-验证监督是否能提升在人脸识别基准上的性能？
• RQ3 在 LFW 上，将网络深度超过 DeepID2+ 是否能带来可测量的性能提升？
• RQ4 LFW 数据集中的标签错误如何影响报告的人脸验证准确率和模型比较结果？
• RQ5 难样本和错误标注的正样本对对深度人脸识别模型的泛化能力有何影响？

主要发现

• 在标准协议下，DeepID3 在 LFW 上实现了 99.53% 的人脸识别准确率，相较于 DeepID2+ 的 99.47% 仅实现微小提升。
• 在闭集评估中，该模型实现了 96.0% 的 rank-1 识别准确率，高于 DeepID2+ 的 95.0%。
• 当 LFW 中三个错误标注的人脸对被校正后，DeepID3 的真实验证准确率下降至 99.52%，与校正后 DeepID2+ 的性能持平。
• DeepID3 和 DeepID2+ 均错误分类了九个共同的假阳性样本和三个共同的假阴性样本，表明在相似外观或遮挡人脸方面仍存在持续挑战。
• 该模型将三个错误标注的正样本对中的两个正确分类为不同人，但有一个被错误分类为同一人。
• 尽管使用了显著深于 DeepID2+ 的架构，但在 LFW 上未观察到性能提升，表明标签噪声或数据集限制可能在缺乏更大训练数据的情况下制约进一步性能提升。