[论文解读] Face Search at Scale: 80 Million Gallery

D. Wang, Charles Otto+1 more|arXiv (Cornell University)|Jul 26, 2015

Face recognition and analysis参考文献 7被引用 80

一句话总结

本文提出了一种级联式人脸搜索系统，结合深度卷积神经网络（CNN）特征与商用现成（COTS）人脸匹配器，实现在大规模图库上的可扩展、高精度人脸搜索。该系统在LFW（98.23%准确率）和IJB-A基准测试中达到最先进性能，并在500万张图库中1秒内、8000万张图库中7秒内分别以第1名和第8名成功检索出较年轻的萨尔纳耶夫兄弟。

ABSTRACT

Due to the prevalence of social media websites, one challenge facing computer vision researchers is to devise methods to process and search for persons of interest among the billions of shared photos on these websites. Facebook revealed in a 2013 white paper that its users have uploaded more than 250 billion photos, and are uploading 350 million new photos each day. Due to this humongous amount of data, large-scale face search for mining web images is both important and challenging. Despite significant progress in face recognition, searching a large collection of unconstrained face images has not been adequately addressed. To address this challenge, we propose a face search system which combines a fast search procedure, coupled with a state-of-the-art commercial off the shelf (COTS) matcher, in a cascaded framework. Given a probe face, we first filter the large gallery of photos to find the top-k most similar faces using deep features generated from a convolutional neural network. The k candidates are re-ranked by combining similarities from deep features and the COTS matcher. We evaluate the proposed face search system on a gallery containing 80 million web-downloaded face images. Experimental results demonstrate that the deep features are competitive with state-of-the-art methods on unconstrained face recognition benchmarks (LFW and IJB-A). Further, the proposed face search system offers an excellent trade-off between accuracy and scalability on datasets consisting of millions of images. Additionally, in an experiment involving searching for face images of the Tsarnaev brothers, convicted of the Boston Marathon bombing, the proposed face search system could find the younger brother's (Dzhokhar Tsarnaev) photo at rank 1 in 1 second on a 5M gallery and at rank 8 in 7 seconds on an 80M gallery.

研究动机与目标

• 解决在社交媒体和执法等非受限环境中大规模人脸搜索的挑战，这些场景每天上传数十亿张人脸图像。
• 克服现有人脸识别方法在图库规模增大时准确率和可扩展性下降的局限性。
• 开发一种在高识别准确率与低计算成本之间取得平衡的系统，适用于在大规模图像集合中实际部署。
• 展示在级联框架中结合深度学习特征与COTS匹配器在提升检索性能方面的有效性。

提出的方法

• 使用在CASIA数据集上训练的深度卷积神经网络提取紧凑且具有区分性的深度特征，用于人脸表征。
• 应用产品量化（PQ）技术，实现在高维特征空间中的高效近似k-最近邻（k-NN）搜索，以实现快速过滤。
• 利用深度特征检索出前k名候选人脸，并通过最先进COTS人脸匹配器的相似度得分对结果进行重排序。
• 将COTS匹配器（提供成对比较得分但不暴露内部特征）集成到级联架构中，以保持高准确率。
• 利用深度特征（快速、泛化能力强）与COTS匹配器（高准确率、鲁棒性强）的互补优势，提升整体搜索性能。
• 在三个复杂度逐步提升的数据集上评估系统：PCS0人像照片、LFW和IJB-A，以及一个大规模8000万张人脸图库。

实验结果

研究问题

• RQ1 结合深度特征与COTS匹配器的级联式人脸搜索系统是否能在大规模人脸图库上实现高准确率与可扩展性？
• RQ2 在LFW和IJB-A等非受限人脸识别基准测试中，深度特征的性能与最先进方法相比如何？
• RQ3 在现实场景中（如识别波士顿马拉松爆炸案的嫌疑人），该系统在多大程度上能成功检索出相关人脸？
• RQ4 通过重排序整合深度特征与COTS匹配器是否能显著提升检索准确率，相比单独使用任一方法？

主要发现

• 在LFW数据集上，系统在标准协议下达到98.23%的准确率，在BLUFR协议下0.1%假警报率时的验证率为87.65%，优于先前工作。
• 在IJB-A基准测试中，系统在0.1%假正率（FAR）下的真接受率（TAR）为51.4%（验证任务），在封闭集搜索中rank-1检索准确率为82.0%，在开放集搜索中1%假正例率（FPIR）下的FNIR为61.7%。
• 在萨尔纳耶夫兄弟案例研究中，系统在500万张图库中1秒内、8000万张图库中7秒内分别以第1名和第8名检索出较年轻兄弟的照片。
• 仅使用深度特征即可在类似条件（如遮挡、模糊）下返回候选结果，并能检索出图库中此前未知的近似重复图像。
• 级联系统显著提升了检索性能：在8000万张图库中，通过重排序前10000名候选，系统成功在第8名找到正确图像，而仅使用深度特征时在前3000名内均未能检索到。
• 系统在大规模场景下仍保持高准确率，展现出在数百万张图像中性能与计算效率之间的有利权衡。