[论文解读] Clustering Millions of Faces by Identity

Charles Otto, D. Wang+1 more|arXiv (Cornell University)|Apr 4, 2016

Face recognition and analysis参考文献 2被引用 5

一句话总结

本文提出一种基于深度人脸嵌入的近似排序聚类算法，用于将数百万张未标记的人脸图像聚类为身份，实现了高可扩展性，在LFW数据集上的F-measure达到0.87，在1.23亿张图像数据集上的F-measure达到0.27。该方法能够高效聚类大规模人脸数据集，并引入一种基于簇内质量的内部度量，以优先对高置信度簇进行人工审查。

ABSTRACT

In this work, we attempt to address the following problem: Given a large number of unlabeled face images, cluster them into the individual identities present in this data. We consider this a relevant problem in different application scenarios ranging from social media to law enforcement. In large-scale scenarios the number of faces in the collection can be of the order of hundreds of million, while the number of clusters can range from a few thousand to millions--leading to difficulties in terms of both run-time complexity and evaluating clustering and per-cluster quality. An efficient and effective Rank-Order clustering algorithm is developed to achieve the desired scalability, and better clustering accuracy than other well-known algorithms such as k-means and spectral clustering. We cluster up to 123 million face images into over 10 million clusters, and analyze the results in terms of both external cluster quality measures (known face labels) and internal cluster quality measures (unknown face labels) and run-time. Our algorithm achieves an F-measure of 0.87 on a benchmark unconstrained face dataset (LFW, consisting of 13K faces), and 0.27 on the largest dataset considered (13K images in LFW, plus 123M distractor images). Additionally, we present preliminary work on video frame clustering (achieving 0.71 F-measure when clustering all frames in the benchmark YouTube Faces dataset). A per-cluster quality measure is developed which can be used to rank individual clusters and to automatically identify a subset of good quality clusters for manual exploration.

研究动机与目标

• 解决在社交媒体和执法等大规模场景下，将数百万张未标记人脸图像聚类为未知身份的挑战。
• 克服传统聚类方法（如k-means、谱聚类）在处理大规模、非约束性人脸数据集时面临的可扩展性和准确性限制。
• 开发一种稳健且可扩展的聚类流水线，即使在图像质量低、主体频率不平衡以及存在噪声或缺失标签的情况下，仍能保持高准确性。
• 提出一种新颖的内部簇质量度量，基于簇内紧凑性和簇间分离性，用于按质量对簇进行排序，从而实现对高置信度结果的高效人工检查。
• 证明将高达1.23亿张人脸图像聚类为超过1000万个簇的可行性，同时保持身份结构的完整性。

提出的方法

• 利用最先进的面部识别模型生成的深度卷积神经网络（CNN）嵌入，提取高质量、具有区分度的人脸表征。
• 采用Zhu等人[7]提出的排序聚类算法，并通过共享最近邻（SNN）计算相似性，提升对噪声或低质量人脸图像的鲁棒性。
• 引入近似最近邻（ANN）搜索（如使用FAISS或类似工具），将SNN计算扩展至1亿张以上图像，显著降低运行时复杂度。
• 通过避免迭代优化步骤，简化聚类流程，采用一次遍历、可扩展的方法，适用于大规模数据集。
• 设计一种基于簇内紧凑性和簇间分离性的内部簇质量评分，该评分无需外部标签即可计算。
• 应用该质量度量对簇进行排序，从而实现对高置信度簇的优先处理，用于下游人工验证或分析。

实验结果

研究问题

• RQ1 基于深度特征和近似最近邻的排序聚类方法，能否在保持高聚类准确率的同时，扩展至1亿张人脸图像？
• RQ2 在大规模、非约束性人脸数据集上，所提出的近似排序聚类方法在准确率和效率方面相较于k-means和谱聚类表现如何？
• RQ3 内部簇质量度量在不依赖外部标签的情况下，能在多大程度上有效识别出高置信度簇？
• RQ4 当数据集规模增大且图像质量差异显著时（特别是包含来自网络的干扰图像时），聚类性能如何退化？
• RQ5 在真实、非约束性数据中，即使图像为近似重复或姿态、光照差异较大，该方法能否成功将同一身份的多张图像聚为一类？

主要发现

• 所提出的近似排序聚类算法在Labeled Faces in the Wild（LFW）基准数据集上取得了0.87的F-measure，表明其在标准人脸聚类任务中表现优异。
• 在最大评估数据集——13,233张标记的LFW图像与1.23亿张未标记的网络图像组合的数据集中，算法取得了0.27的F-measure，证明其在真实世界大规模场景下的可行性。
• 内部簇质量度量成功对簇进行排序，使得排名靠前的簇主要为纯净簇（即仅包含同一身份的图像），具有高紧凑性和高隔离性。
• 排名靠前的簇常包含近似重复图像或卡通脸，但质量度量仍能有效优先识别出包含真实人脸图像的同一身份簇，即使背景嘈杂。
• 该方法成功将1.23亿张人脸图像聚类为超过1000万个簇，通过近似最近邻搜索显著提升了运行时性能，优于精确方法。
• 在YouTube Faces数据集的视频帧聚类中，F-measure达到0.71，表明该方法在序列视觉数据上具有良好的泛化能力。