[论文解读] Large-Scale Pre-training for Person Re-identification with Noisy Labels

Dengpan Fu, Dongdong Chen+7 more|arXiv (Cornell University)|Mar 30, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种大规模预训练框架 PNL，用于行人重识别（Re-ID），利用 LUPerson 数据集中从视频轨迹片段中提取的噪声标签。通过联合优化监督学习、基于原型的对比学习以及标签引导的对比学习，PNL 有效纠正了噪声标签并学习到强大的表征特征，在多个基准测试中实现了最先进性能，在 CUHK03 上相比 ImageNet 预训练实现了 5.7% 的 mAP 提升，并在少样本设置下表现出显著优势。

ABSTRACT

This paper aims to address the problem of pre-training for person re-identification (Re-ID) with noisy labels. To setup the pre-training task, we apply a simple online multi-object tracking system on raw videos of an existing unlabeled Re-ID dataset "LUPerson" nd build the Noisy Labeled variant called "LUPerson-NL". Since theses ID labels automatically derived from tracklets inevitably contain noises, we develop a large-scale Pre-training framework utilizing Noisy Labels (PNL), which consists of three learning modules: supervised Re-ID learning, prototype-based contrastive learning, and label-guided contrastive learning. In principle, joint learning of these three modules not only clusters similar examples to one prototype, but also rectifies noisy labels based on the prototype assignment. We demonstrate that learning directly from raw videos is a promising alternative for pre-training, which utilizes spatial and temporal correlations as weak supervision. This simple pre-training task provides a scalable way to learn SOTA Re-ID representations from scratch on "LUPerson-NL" without bells and whistles. For example, by applying on the same supervised Re-ID method MGN, our pre-trained model improves the mAP over the unsupervised pre-training counterpart by 5.7%, 2.2%, 2.3% on CUHK03, DukeMTMC, and MSMT17 respectively. Under the small-scale or few-shot setting, the performance gain is even more significant, suggesting a better transferability of the learned representation. Code is available at https://github.com/DengpanFu/LUPerson-NL

研究动机与目标

• 通过利用原始视频数据作为可扩展的预训练来源，解决行人重识别（Re-ID）中大规模高质量标注数据有限的挑战。
• 通过从网络规模的未标注视频中学习，缓解通用 ImageNet 预训练与以行人为中心的 Re-ID 任务之间的领域差距。
• 开发一种统一的预训练框架，联合学习噪声标签、原型和修正后的标签，以提升表征学习效果。
• 证明利用时空视频相关性的弱监督可生成优于 ImageNet 或无监督预训练的行人 Re-ID 特征。

提出的方法

• 构建了 LUPerson-NL，一个包含 1000 万张图像、来自 21000 个场景的大规模 Re-ID 数据集，其伪标签由原始视频上的多目标跟踪生成。
• 提出一个三模块预训练框架：监督分类损失、基于动态更新中心点的原型对比学习，以及使用修正标签的标签引导对比学习。
• 采用移动平均更新方式优化原型中心点，以稳定聚类并提升训练迭代过程中的标签修正效果。
• 采用联合优化策略，通过端到端训练强制实现原型分配的一致性与修正标签置信度。
• 利用特征相似性矩阵可视化并验证标签修正效果，显示被错误标记的身份聚类得到显著改善。
• 将预训练模型直接应用于下游 Re-ID 任务，无需后处理，使用 MGN 和 IDE 等标准基线模型进行公平比较。

实验结果

研究问题

• RQ1 在使用自动提取的噪声标签对原始视频进行大规模预训练，是否能超越 ImageNet 预训练在行人重识别中的表现？
• RQ2 联合学习监督学习、基于原型的对比学习与标签引导对比学习，在纠正噪声标签和提升表征学习方面效果如何？
• RQ3 利用视频轨迹片段中的空间与时间相关性所获得的弱监督，是否能生成优于无监督或监督预训练的可迁移特征？
• RQ4 所提出的 PNL 框架在低数据场景（如少样本或小规模设置）下的性能提升程度如何？
• RQ5 一种结合标签修正与对比学习的统一框架，是否能在不依赖额外技巧的情况下实现最先进性能？

主要发现

• 在 CUHK03 上，PNL 预训练模型相比 ImageNet 监督预训练的 mAP 提升 5.7%，在 DukeMTMC 上提升 2.2%，在 MSMT17 上提升 2.3%。
• 在小样本和少样本设置下，PNL 预训练带来的性能增益更加显著，表明其具有更优的迁移能力。
• 标签修正机制成功将同一人的错误标记轨迹片段合并（Noise-I），并分离了被错误归为同一身份的不同个体（Noise-II），可视化矩阵已验证该效果。
• 消融实验证实标签修正显著提升性能，在包含标签修正的设置下，MSMT17 上 mAP 提升 1.3%。
• 在四个基准数据集（CUHK03、Market1501、DukeMTMC、MSMT17）上，基于 PNL 的模型均实现了最先进性能，无需后处理，且显著优于先前方法。
• 在使用 MGN 的情况下，PNL 框架在 MSMT17 上达到 68.0/86.0 mAP，在 Market1501 上达到 91.9/96.6 mAP，大幅超越此前最先进方法。