[论文解读] Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification

Shengcai Liao, Ling Shao|arXiv (Cornell University)|Apr 4, 2021

Video Surveillance and Tracking Methods参考文献 24被引用 9

一句话总结

该论文提出图采样（Graph Sampling, GS），一种用于行人重识别中深度度量学习的新型小批量采样方法。该方法在每个训练周期开始时，基于类别构建最近邻图，以选择具有信息量、难度高且相似的类别进行训练。通过采样一个类别及其前k个最近邻类别，GS 显著提升了模型泛化能力并大幅缩短训练时间，在 RandPerson 上训练时，MSMT17 的 Rank-1 准确率提升 25.1%，在 MSMT17 上训练时，CUHK03-NP 的 Rank-1 准确率提升 6.8%，训练时间从 25.4 小时缩短至 2 小时。

ABSTRACT

Recent studies show that, both explicit deep feature matching as well as large-scale and diverse training data can significantly improve the generalization of person re-identification. However, the efficiency of learning deep matchers on large-scale data has not yet been adequately studied. Though learning with classification parameters or class memory is a popular way, it incurs large memory and computational costs. In contrast, pairwise deep metric learning within mini batches would be a better choice. However, the most popular random sampling method, the well-known PK sampler, is not informative and efficient for deep metric learning. Though online hard example mining has improved the learning efficiency to some extent, the mining in mini batches after random sampling is still limited. This inspires us to explore the use of hard example mining earlier, in the data sampling stage. To do so, in this paper, we propose an efficient mini-batch sampling method, called graph sampling (GS), for large-scale deep metric learning. The basic idea is to build a nearest neighbor relationship graph for all classes at the beginning of each epoch. Then, each mini batch is composed of a randomly selected class and its nearest neighboring classes so as to provide informative and challenging examples for learning. Together with an adapted competitive baseline, we improve the state of the art in generalizable person re-identification significantly, by 25.1% in Rank-1 on MSMT17 when trained on RandPerson. Besides, the proposed method also outperforms the competitive baseline, by 6.8% in Rank-1 on CUHK03-NP when trained on MSMT17. Meanwhile, the training time is significantly reduced, from 25.4 hours to 2 hours when trained on RandPerson with 8,000 identities. Code is available at https://github.com/ShengcaiLiao/QAConv.

研究动机与目标

• 解决大规模行人重识别深度度量学习中随机采样效率低下的问题。
• 通过在训练流程早期引入难度高、语义相似的样本，提升模型泛化能力。
• 与依赖完整特征记忆或随机采样的现有方法相比，降低训练时间与计算成本。
• 实现在 RandPerson（8,000 个身份）等大规模数据集上可扩展且高效的训练，同时避免过度的内存开销。

提出的方法

• 在每个训练周期开始时，使用特征嵌入在所有类别上构建最近邻图。
• 对于每个小批量，随机选择一个锚类别，并根据图采样其前k个最近邻类别。
• 通过每类采样K张图像构成小批量，确保组内相似性高且具有挑战性。
• 使用生成的小批量进行成对度量学习，结合难样本三元组损失，重点关注边界样本。
• 通过仅使用每类一个样本进行距离计算，限制图构建成本，降低计算开销。
• 将 GS 与具有竞争力的基线模型（如 QAConv）结合，以评估性能与效率。

实验结果

研究问题

• RQ1 通过结构化采样实现早期难样本挖掘，是否能提升行人重识别中的泛化能力？
• RQ2 与随机采样（如 PK 采样器）相比，基于图的采样在训练效率与模型准确率方面表现如何？
• RQ3 图采样是否能在保持或提升性能的同时，减少大规模数据集上的训练时间？
• RQ4 采样语义相似的类别是否能带来更好的特征区分能力，并增强对域偏移的鲁棒性？

主要发现

• 所提出的图采样（GS）方法在 RandPerson（8,000 个身份）上训练时，将训练时间从 25.4 小时缩短至 2 小时。
• 在 RandPerson 上训练时，GS 在 MSMT17 上实现 Rank-1 准确率提升 25.1%，创下新的 SOTA 成绩。
• 在 MSMT17 上训练时，GS 在 CUHK03-NP 上实现 Rank-1 准确率提升 6.8%，优于具有竞争力的基线方法。
• 可视化结果表明，GS 能有效识别出视觉上相似的类别（如相似服装、颜色、配饰），从而增强模型的区分能力。
• 采用 GS 训练的模型随时间推移逐渐学会忽略背景干扰，聚焦于服装风格与颜色等身份相关特征。
• 尽管初始采样成本较高，GS 显著减少了所需训练周期数（通常低于 20 次），而基线方法通常需 60 次以上，因此其开销具有合理性。