[论文解读] Continual Representation Learning for Biometric Identification

Bo Zhao, Shixiang Tang+3 more|arXiv (Cornell University)|Jun 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 74被引用 6

一句话总结

本文提出了一种用于生物特征识别的新型持续表征学习（CRL）设置，重点在于提升对未见身份的泛化能力，而非记忆旧类别。提出了一种基于邻域选择与一致性松弛的可扩展知识蒸馏方法，在两个大规模人脸识别与行人重识别基准上实现了最先进性能，显著提升了泛化能力与效率。

ABSTRACT

With the explosion of digital data in recent years, continuously learning new tasks from a stream of data without forgetting previously acquired knowledge has become increasingly important. In this paper, we propose a new continual learning (CL) setting, namely ``continual representation learning'', which focuses on learning better representation in a continuous way. We also provide two large-scale multi-step benchmarks for biometric identification, where the visual appearance of different classes are highly relevant. In contrast to requiring the model to recognize more learned classes, we aim to learn feature representation that can be better generalized to not only previously unseen images but also unseen classes/identities. For the new setting, we propose a novel approach that performs the knowledge distillation over a large number of identities by applying the neighbourhood selection and consistency relaxation strategies to improve scalability and flexibility of the continual learning model. We demonstrate that existing CL methods can improve the representation in the new setting, and our method achieves better results than the competitors.

研究动机与目标

• 为解决真实世界生物特征系统中持续学习的挑战，即模型需从流式数据中泛化到未见身份。
• 提出一种新的持续学习设置——持续表征学习（CRL），优先考虑对未见类别的泛化能力，而非记忆旧类别。
• 开发适用于包含数千至数百万身份的大规模生物特征数据集的可扩展且灵活的知识蒸馏技术。
• 构建两个大规模、多阶段的基准数据集，分别用于人脸识别与行人重识别，以支持未来在持续表征学习领域的研究。

提出的方法

• 提出一种新的持续表征学习（CRL）设置，模型从数据流中学习，并提升对未见身份的泛化能力，而非记忆旧类别。
• 引入邻域选择（NS），通过基于特征相似度选择最相关的旧类别，以降低知识蒸馏的计算成本。
• 应用一致性松弛（CR），通过放松旧模型与新模型预测之间的严格输出一致性，实现灵活的蒸馏。
• 使用基于对比学习的损失函数，并引入基于边距的正则化，以提升跨阶段的特征判别力与泛化能力。
• 采用双头网络结构，共享特征编码器与特定任务分类器，实现高效的在线适应。
• 利用包含互不重叠训练与测试身份的大规模基准数据集，评估对未见类别的泛化性能。

实验结果

研究问题

• RQ1 如何重新定义持续学习，使其在生物特征识别中优先关注对未见身份的泛化能力，而非对已见类别的记忆？
• RQ2 在包含数千个身份的大规模生物特征数据集中，应用知识蒸馏面临的关键可扩展性与效率挑战是什么？
• RQ3 邻域选择与一致性松弛如何提升持续表征学习的性能与灵活性？
• RQ4 现有持续学习方法在生物特征任务中对未见身份的泛化能力如何？所提方法相比它们有何优势？

主要发现

• 所提方法结合邻域选择与一致性松弛，在5步持续行人重识别基准上达到61.1%的Top-1准确率与49.5%的mAP，优于所有消融实验变体与基线方法。
• 仅使用邻域选择（NS）即可将Top-1准确率从59.1%提升至59.8%，证明其在不损失准确率的前提下有效降低蒸馏成本。
• 一致性松弛（CR）进一步提升性能，与NS结合后，Top-1准确率从59.8%提升至61.1%，mAP从47.8%提升至49.5%。
• 该方法对超参数变化具有鲁棒性：最优邻域大小K ≈ 总旧类别数的10%（K=200），且边距β=10⁻²时性能最佳。
• 与LWF、iCaRL和End2End等现有方法相比，该方法在可扩展性上显著更优，因其避免对所有旧类别进行完整蒸馏，使内存与计算成本降低数个数量级。
• 消融研究证实，NS与CR模块在性能上独立且协同贡献，其中CR带来的泛化增益最大。