[论文解读] Large-scale Bisample Learning on ID Versus Spot Face Recognition

Xiangyu Zhu, Hao Liu+6 more|arXiv (Cornell University)|Jun 8, 2018

Face recognition and analysis参考文献 57被引用 9

一句话总结

本文提出大规模双样本学习（LBL）用于身份识别与抓拍（IvS）人脸识别，针对每类仅两幅样本的弱类内变化及大规模类别下的可扩展性问题。提出CVC训练策略（分类–验证–分类）与主原型Softmax（DP-Softmax），实现仅用每身份两幅样本的有效深度学习，在包含200万+身份的基准上实现最先进性能，类采样率仅为0.15%。

ABSTRACT

In real-world face recognition applications, there is a tremendous amount of data with two images for each person. One is an ID photo for face enrollment, and the other is a probe photo captured on spot. Most existing methods are designed for training data with limited breadth (a relatively small number of classes) and sufficient depth (many samples for each class). They would meet great challenges on ID versus Spot (IvS) data, including the under-represented intra-class variations and an excessive demand on computing devices. In this paper, we propose a deep learning based large-scale bisample learning (LBL) method for IvS face recognition. To tackle the bisample problem with only two samples for each class, a classification-verification-classification (CVC) training strategy is proposed to progressively enhance the IvS performance. Besides, a dominant prototype softmax (DP-softmax) is incorporated to make the deep learning scalable on large-scale classes. We conduct LBL on a IvS face dataset with more than two million identities. Experimental results show the proposed method achieves superior performance to previous ones, validating the effectiveness of LBL on IvS face recognition.

研究动机与目标

• 解决在每身份仅两幅样本的条件下，大规模IvS人脸识别数据训练深度网络的挑战。
• 克服因每类训练样本有限导致的弱类内变化问题。
• 在有限GPU资源下，实现对大规模类别数量（如200万+身份）的可扩展深度学习。
• 在ID与抓拍图像异构的真实IvS场景中，提升泛化能力与判别性特征学习。
• 通过Megaface-bisample协议构建可复现的基准，以模拟大规模双样本学习。

提出的方法

• 提出CVC（分类–验证–分类）训练策略：先在网页数据上通过分类任务预训练，再在IvS数据上通过验证任务微调，最后通过大规模分类任务再训练。
• 引入主原型Softmax（DP-Softmax），通过仅选择每批次中最具代表性、最相似的类别，降低计算成本。
• 利用类别接近度识别主类别，实现在每个小批量中仅使用总类别数的0.15%即可实现有效的梯度更新。
• 为每个类别构建主类别队列，动态追踪并更新相似类别。
• 在缺乏ID特征时，利用平均原型进行初始化，尤其适用于Megaface-bisample模拟场景。
• 发布Public-IvS数据集与新协议Megaface-bisample，以支持大规模双样本学习的可复现评估。

实验结果

研究问题

• RQ1 渐进式CVC训练策略能否有效将网页收集数据的知识迁移至每身份仅两幅样本的IvS人脸识别？
• RQ2 在GPU显存有限的条件下，如何实现对包含两百万多个身份的IvS数据集的可扩展深度学习？
• RQ3 在Softmax损失中采用主原型选择，能否在仅使用总类别数0.15%的情况下维持性能，同时显著降低训练成本？
• RQ4 所提出的DP-Softmax方法是否在大规模双样本人脸识别中优于标准Softmax及其他损失变体？
• RQ5 Megaface-bisample协议能否准确模拟真实IvS数据的挑战，以支持基准测试？

主要发现

• 所提LBL方法在CASIA-IvS-Test上实现FAR=10^-5时97.70%的验证率，优于先前最先进方法。
• DP-Softmax使每批次仅使用总类别数0.15%的类别即可实现有效训练，显著降低GPU显存占用。
• CVC策略实现性能逐步提升，各阶段均有显著增益，尤其在验证与最终分类阶段表现突出。
• 在Megaface-bisample协议上，LBL(DP-Softmax)在FAR=10^-5时达到73.86%的验证率，优于所有基线方法超过8个百分点。
• 该方法泛化能力良好，多个基准（包括Public-IvS与Megaface-bisample）均表现出一致性能提升。
• Public-IvS数据集与Megaface-bisample协议的发布，实现了可复现评估，并为未来大规模双样本学习研究提供基准支持。