[论文解读] CycAs: Self-supervised Cycle Association for Learning Re-identifiable Descriptions

Zhongdao Wang, Jingwei Zhang+5 more|arXiv (Cornell University)|Jul 15, 2020

Video Surveillance and Tracking Methods参考文献 49被引用 13

一句话总结

本文提出CycAs，一种用于行人重识别的自监督学习方法，以视频帧之间的循环关联作为先验任务，无需伪标签即可学习可重识别的嵌入表示。通过强制前后向数据关联的一致性，模型学习到鲁棒且跨摄像头兼容的表征，在公开基准上达到最先进性能，即使在存在较大领域差距的真实世界未标注视频上训练，也表现出具有竞争力的结果。

ABSTRACT

This paper proposes a self-supervised learning method for the person re-identification (re-ID) problem, where existing unsupervised methods usually rely on pseudo labels, such as those from video tracklets or clustering. A potential drawback of using pseudo labels is that errors may accumulate and it is challenging to estimate the number of pseudo IDs. We introduce a different unsupervised method that allows us to learn pedestrian embeddings from raw videos, without resorting to pseudo labels. The goal is to construct a self-supervised pretext task that matches the person re-ID objective. Inspired by the \emph{data association} concept in multi-object tracking, we propose the extbf{Cyc}le extbf{As}sociation ( extbf{CycAs}) task: after performing data association between a pair of video frames forward and then backward, a pedestrian instance is supposed to be associated to itself. To fulfill this goal, the model must learn a meaningful representation that can well describe correspondences between instances in frame pairs. We adapt the discrete association process to a differentiable form, such that end-to-end training becomes feasible. Experiments are conducted in two aspects: We first compare our method with existing unsupervised re-ID methods on seven benchmarks and demonstrate CycAs' superiority. Then, to further validate the practical value of CycAs in real-world applications, we perform training on self-collected videos and report promising performance on standard test sets.

研究动机与目标

• 解决现有无监督重识别方法依赖于轨迹或聚类生成的易错伪标签的局限性。
• 设计一种与跨摄像头重识别目标高度对齐的自监督先验任务。
• 通过可微分的松弛化循环一致性目标，实现端到端训练，且能容忍适度的外观变化。
• 通过在真实世界自采集视频上训练并在存在大领域差距的标准基准上评估，验证方法的实际可行性。
• 证明自监督表示学习即使在领域偏移下，也能达到与监督模型相媲美甚至更优的性能。

提出的方法

• CycAs先验任务通过强制循环一致性实现：从帧A到B进行数据关联，再从B返回A，目标是使每个人被匹配到自身。
• 该方法将离散关联过程建模为可微分松弛，利用可微排序机制，实现端到端训练。
• 引入一种松弛化优化目标，以容忍帧对之间适度的不对称性，从而支持使用外观变化较大的帧。
• 采用两阶段训练策略：首先在视频内帧对（连续帧）上训练以确保收敛，然后在具有重叠视场的跨摄像头帧对上微调，以提升鲁棒性。
• 模型使用包含同视频（相同视频）和跨视频（不同摄像头）帧对的组合进行训练，每个小批量包含8对帧。
• 框架使用行人检测器提取边界框，并从原始视频中每7帧抽取一次裁剪图像，从而实现在未经筛选的真实世界视频上的训练。

实验结果

研究问题

• RQ1 基于视频帧之间循环一致性的自监督先验任务，是否能在不依赖伪标签的情况下学习到有效的行人重识别特征？
• RQ2 放松循环一致性约束后，模型在存在显著外观变化下的泛化能力如何变化？
• RQ3 所提方法是否能泛化到具有显著领域差距的真实世界自采集视频，并在标准基准上取得良好表现？
• RQ4 两阶段训练策略（先视频内后跨摄像头）是否能提升收敛速度与性能？
• RQ5 当在真实世界未标注数据上训练时，CycAs与监督及无监督基线模型相比表现如何？

主要发现

• 在七个公开基准上，CycAs优于现有无监督重识别方法，证明其在自监督表示学习方面的优越性。
• 在6小时自采集真实世界视频上训练后，CycAs在Market-1501上达到23.3% mAP和50.8% R1，优于无监督基线BUC（+21.0% R1）和UGA（+13.6% R1）。
• 在DukeMTMC-ReID上，CycAs达到19.2% mAP和34.6% R1，优于在CUHK03上训练的监督IDE模型（mAP高6.0%，R1高8.4%）。
• 当在自采集数据上训练时，CycAs在DukeMTMC上达到19.2% mAP，比在DukeMTMC上训练的监督IDE模型高2.6%。
• 在自采集视频上训练的模型性能优于在不同领域上训练的监督模型，表明其具备强大的领域泛化能力并有效利用了未标注数据。
• 消融实验表明，仅使用同视频采样数据训练无法实现有意义的收敛，而结合同视频与跨视频采样数据可实现快速且稳定的收敛。