[论文解读] BroadFace: Looking at Tens of Thousands of People at Once for Face Recognition

Yonghyun Kim, Wonpyo Park+1 more|arXiv (Cornell University)|Aug 15, 2020

Face recognition and analysis参考文献 52被引用 7

一句话总结

BroadFace 提出了一种用于人脸识别的新型训练方法，通过在训练过程中动态引用大量历史嵌入向量队列，提升了分类器的最优性，实现了对数以万计身份的全局优化。通过引入一种补偿机制来校正队列中的嵌入误差，BroadFace 在九个数据集上实现了最先进（SOTA）的准确率，且推理开销极低，显著加速了收敛速度，并在多种主干网络和损失函数下提升了泛化能力。

ABSTRACT

The datasets of face recognition contain an enormous number of identities and instances. However, conventional methods have difficulty in reflecting the entire distribution of the datasets because a mini-batch of small size contains only a small portion of all identities. To overcome this difficulty, we propose a novel method called BroadFace, which is a learning process to consider a massive set of identities, comprehensively. In BroadFace, a linear classifier learns optimal decision boundaries among identities from a large number of embedding vectors accumulated over past iterations. By referring more instances at once, the optimality of the classifier is naturally increased on the entire datasets. Thus, the encoder is also globally optimized by referring the weight matrix of the classifier. Moreover, we propose a novel compensation method to increase the number of referenced instances in the training stage. BroadFace can be easily applied on many existing methods to accelerate a learning process and obtain a significant improvement in accuracy without extra computational burden at inference stage. We perform extensive ablation studies and experiments on various datasets to show the effectiveness of BroadFace, and also empirically prove the validity of our compensation method. BroadFace achieves the state-of-the-art results with significant improvements on nine datasets in 1:1 face verification and 1:N face identification tasks, and is also effective in image retrieval.

研究动机与目标

• 为解决人脸识别中小批量训练的局限性，即小批量无法充分代表数以万计身份的完整分布。
• 通过将大量历史嵌入向量引入分类器优化过程，提升嵌入空间中决策边界的最优性。
• 在不增加推理时计算成本的前提下，加速模型收敛并提升识别准确率。
• 开发一种可泛化的方法，适用于各种主干网络和损失函数的人脸识别任务。

提出的方法

• BroadFace 维护一个大小固定的大容量队列，用于存储先前训练迭代中的嵌入向量，使分类器能够参考广泛的身份分布。
• 线性分类器同时基于当前小批量数据和队列中累积的嵌入向量进行更新，从而增强决策边界的全局代表性。
• 引入一种补偿机制，通过建模不同迭代中身份代表性向量权重的差异，减少当前与历史向量之间的误差。
• 编码器通过反向传播联合优化，利用来自分类器的梯度，而分类器则在当前和历史嵌入上进行训练。
• 该方法兼容标准损失函数（如 ArcFace 和 CosFace），可应用于多种主干网络架构，如 MobileFaceNet、ResNet-18 和 ResNet-100。
• 队列大小是唯一的超参数，使该方法易于在不同训练设置中调优与部署。

实验结果

研究问题

• RQ1 通过使用大规模历史嵌入集合而非仅当前小批量数据来优化决策边界，人脸识别模型是否能实现更好的泛化性能？
• RQ2 动态维护和更新历史嵌入队列，对人脸识别模型的收敛速度和最终准确率有何影响？
• RQ3 队列中嵌入误差的累积会产生何种影响？能否在训练过程中有效补偿？
• RQ4 BroadFace 在不增加推理成本的前提下，能在多大程度上提升多种主干网络和损失函数下的性能？
• RQ5 当队列大小显著增大时，所提出的补偿机制是否能防止性能下降？

主要发现

• BroadFace 在九个人脸识别数据集上均实现了最先进（SOTA）的性能，涵盖 1:1 验证与 1:N 识别任务，优于现有方法。
• 在 IJB-B 数据集上，队列大小为 32,768 时，BroadFace 在 FAR=1e-6 条件下的 TAR 达到 0.4653，显著优于基线 ArcFace（0.3828）。
• 补偿机制有效防止了在大队列规模下的准确率下降，即使队列超过 16,000 个嵌入，仍能保持高召回率。
• BroadFace 显著加速了学习过程：在图像检索任务中，其在第 10 个周期即达到峰值性能，而基线 ArcFace 要到第 45 个周期才达到。
• 使用 BroadFace 训练的 ResNet-34 在性能上可媲美使用 ArcFace 训练的 ResNet-100，证明了该方法的高效性与有效性。
• 该方法具有普适性：在 MobileFaceNet、ResNet-18、ResNet-34 和 ResNet-100 上均实现了性能提升，且无额外推理成本。