[论文解读] Leveraging Billions of Faces to Overcome Performance Barriers in Unconstrained Face Recognition

Yaniv Taigman, Lior Wolf|arXiv (Cornell University)|Aug 4, 2011

Face recognition and analysis参考文献 10被引用 41

一句话总结

本论文提出了一套面部识别系统，利用 face.com 数据库中的数百亿张人脸数据，在无需针对数据集进行微调的情况下，于 LFW 基准测试中实现了最先进性能。通过结合实时 3D 面部重建技术以实现姿态与光照归一化，并结合在海量数据上训练的判别模型，该系统在 LFW 上实现了 91.3% 的准确率，且在零假阳性率条件下召回率接近翻倍（55.2%），显著优于以往工作在最保守性能范围内的表现。

ABSTRACT

We employ the face recognition technology developed in house at face.com to a well accepted benchmark and show that without any tuning we are able to considerably surpass state of the art results. Much of the improvement is concentrated in the high-valued performance point of zero false positive matches, where the obtained recall rate almost doubles the best reported result to date. We discuss the various components and innovations of our system that enable this significant performance gap. These components include extensive utilization of an accurate 3D reconstructed shape model dealing with challenges arising from pose and illumination. In addition, discriminative models based on billions of faces are used in order to overcome aging and facial expression as well as low light and overexposure. Finally, we identify a challenging set of identification queries that might provide useful focus for future research.

研究动机与目标

• 为克服在非约束条件下进行人脸识别时面临的性能障碍，特别是极端姿态、光照、老化及表情变化下的挑战。
• 证明大规模数据与先进的 3D 建模技术可显著提升识别准确率，且无需针对特定数据集进行微调。
• 识别并发布一组难以分类的配对样本，以指导未来对困难识别案例的研究。
• 通过在零假阳性率下实现召回率近乎翻倍，建立高精度人脸识别的新基准。

提出的方法

• 利用在 310 亿张人脸图像上训练的实时 3D 面部重建引擎，从单张非约束图像生成精确的 3D 模型。
• 应用基于 3D 的归一化方法，将非正前方及光照不良的图像转换为具有统一光照条件的标准正前方视图。
• 采用非参数判别模型，基于数千万张人脸样本进行训练，学习对老化、表情和光照变化具有不变性的特征。
• 通过大规模人脸库中的样本学习特征，用于分类查询样本并估计种族与年龄等属性。
• 通过 3D 模型旋转实现视图归一化，消除姿态差异，避免依赖 2D 图像形变。
• 利用估计的光照参数对 3D 模型进行重新照明，以统一图像间的光照条件。

实验结果

研究问题

• RQ1 在数亿张非约束人脸图像上进行训练的面部识别系统，是否能在不进行任何数据集特定微调的情况下，在 LFW 上实现最先进性能？
• RQ2 3D 面部重建在缓解非约束人脸识别中姿态与光照变化方面的效果如何？
• RQ3 在大规模数据集上训练的判别模型，在多大程度上能学习对老化与面部表情变化的不变性？
• RQ4 即使在高性能系统中，仍存在哪些最具挑战性的面部识别案例？
• RQ5 精心筛选的困难负样本对是否有助于聚焦未来研究于最顽固的失败模式？

主要发现

• 系统在不受限的 LFW 基准测试中实现了 91.3% ± 0.3 的平均准确率，超越了所有先前报告的结果。
• 在假阳性率为零的条件下，系统实现了超过 55% 的真正例率（召回率），几乎翻倍于该保守性能范围内的最佳先前结果。
• 系统成功识别出 LFW 数据集中的一处标注错误，正确区分了两位名为 Jim O’Brien 的个体，此前被错误标注。
• 系统在低假阳性区域的性能差距最为显著，表明其在高安全性应用场景中具有极强的鲁棒性。
• 发布 6,000 个相似度分数及一组误分类配对样本，为研究非约束人脸识别中的困难案例提供了宝贵资源。
• 3D 重建引擎即使在低分辨率、非约束图像上，也能实现精确的姿态校正与光照归一化，如图 2–5 所示。