[论文解读] GroupFace: Learning Latent Groups and Constructing Group-based Representations for Face Recognition

Yonghyun Kim, Wonpyo Park+2 more|arXiv (Cornell University)|May 21, 2020

Face recognition and analysis参考文献 46被引用 10

一句话总结

GroupFace 提出了一种新颖的人脸识别架构，通过从面部特征中学习潜在群体，并将群体感知表示整合到嵌入空间中，以提升特征质量。通过使用自分布分组机制和硬集成结构，其在多个基准测试中实现了最先进性能，且计算开销极低。

ABSTRACT

In the field of face recognition, a model learns to distinguish millions of face images with fewer dimensional embedding features, and such vast information may not be properly encoded in the conventional model with a single branch. We propose a novel face-recognition-specialized architecture called GroupFace that utilizes multiple group-aware representations, simultaneously, to improve the quality of the embedding feature. The proposed method provides self-distributed labels that balance the number of samples belonging to each group without additional human annotations, and learns the group-aware representations that can narrow down the search space of the target identity. We prove the effectiveness of the proposed method by showing extensive ablation studies and visualizations. All the components of the proposed method can be trained in an end-to-end manner with a marginal increase of computational complexity. Finally, the proposed method achieves the state-of-the-art results with significant improvements in 1:1 face verification and 1:N face identification tasks on the following public datasets: LFW, YTF, CALFW, CPLFW, CFP, AgeDB-30, MegaFace, IJB-B and IJB-C.

研究动机与目标

• 解决在紧凑且可泛化的嵌入空间中表示数百万身份的挑战，而无需依赖人工标注。
• 通过利用源自潜在因子（如面部属性和非面部条件）的群体级语义，提升人脸识别中的特征表示质量。
• 开发一种自分布标签机制，在无需人工标注群体标签的情况下，实现群体样本分布的平衡。
• 以端到端可训练的方式，将群体感知表示与基于实例的特征进行融合，以提升识别准确率。
• 通过保持较低的计算开销，在 1:1 和 1:N 人脸识别任务中显著提升性能，实现实际部署。

提出的方法

• 引入群体感知表示网络（GDN），基于共享的面部和非面部特征，学习将每张人脸图像分配到多个潜在群体。
• 提出一种自分布分组机制，通过可微聚类方法优化群体间分布的平衡性，动态分配群体标签。
• 设计一种硬集成结构，通过自适应卷积层将基于实例的特征与群体感知特征进行融合，实现高效的端到端训练。
• 开发一种新型相似性度量，结合基于实例和基于群体的表示，以提升匹配准确率。
• 使用标准人脸识别损失函数（如 ArcFace）端到端训练整个架构，并引入群体级别预测的附加监督。
• 使用 t-SNE 可视化分析特征空间和群体激活模式，证实了更好的类间分离性和有意义的群体语义。

实验结果

研究问题

• RQ1 在无需人工标注群体标签的情况下，自分布潜在群体是否能提升人脸嵌入特征的泛化能力和判别性能？
• RQ2 将群体感知表示与基于实例的特征进行融合，对 1:1 验证和 1:N 识别任务的性能有何影响？
• RQ3 尽管采用弱监督方式学习，所学出的潜在群体在多大程度上能捕捉到有意义的视觉语义（如性别、胡须、秃头）？
• RQ4 与现有最先进模型相比，该方法是否仅以微小的计算成本增加，即可实现最先进性能？
• RQ5 在 IJB-C 和 IJB-B 等挑战性设置下（如 FAR 低至 1e-6），群体与实例表示的融合如何增强特征判别能力？

主要发现

• GroupFace 在 LFW、YTF、CALFW、CPLFW、CFP、AgeDB-30、MegaFace、IJB-B 和 IJB-C 上均达到最先进性能，显著优于 ArcFace。
• 在 IJB-C 上，与 ArcFace 相比，GroupFace 在 FAR=1e-5 时 TAR 提升 1.2 个百分点，在 FAR=1e-4 时提升 0.4 个百分点；在 IJB-B 上，TAR@FAR=1e-6 时提升 5.3 个百分点。
• GroupFace 的硬集成版本仅通过少量额外卷积层即实现高精度，表明计算开销极低。
• 可视化结果表明，与基线 ArcFace 相比，GroupFace 在 t-SNE 空间中生成了更具区分性且分离更清晰的特征表示。
• 群体激活分析显示，32 个群体中有 12 个群体占主导，且无单一主导群体，表明群体分布均衡且具有意义。
• 群体解释分析表明，部分群体（如第 5 组：男性，第 20 组：秃头男性）捕捉到了清晰的视觉语义，而其他群体则代表多模态描述（如微笑女性、惊恐人群）。