[论文解读] Large-Scale Spatio-Temporal Person Re-identification: Algorithm and Benchmark

Xiujun Shu, Xiao Wang+5 more|arXiv (Cornell University)|May 31, 2021

Video Surveillance and Tracking Methods参考文献 53被引用 5

一句话总结

本文介绍了LaST，一个大规模时空行人重识别数据集，包含10,862个身份和超过228,000张图像，覆盖多样化的城市、昼夜时段和季节。该数据集为真实世界重识别任务提供了具有挑战性的基准，评估了14种算法，并提出了一种在现有数据集上具有良好泛化能力的强基线模型，证明了该数据集在推动真实场景重识别系统发展方面的实用性。

ABSTRACT

Person re-identification (re-ID) in the scenario with large spatial and temporal spans has not been fully explored. This is partially because that, existing benchmark datasets were mainly collected with limited spatial and temporal ranges, e.g., using videos recorded in a few days by cameras in a specific region of the campus. Such limited spatial and temporal ranges make it hard to simulate the difficulties of person re-ID in real scenarios. In this work, we contribute a novel Large-scale Spatio-Temporal LaST person re-ID dataset, including 10,862 identities with more than 228k images. Compared with existing datasets, LaST presents more challenging and high-diversity re-ID settings, and significantly larger spatial and temporal ranges. For instance, each person can appear in different cities or countries, and in various time slots from daytime to night, and in different seasons from spring to winter. To our best knowledge, LaST is a novel person re-ID dataset with the largest spatio-temporal ranges. Based on LaST, we verified its challenge by conducting a comprehensive performance evaluation of 14 re-ID algorithms. We further propose an easy-to-implement baseline that works well on such challenging re-ID setting. We also verified that models pre-trained on LaST can generalize well on existing datasets with short-term and cloth-changing scenarios. We expect LaST to inspire future works toward more realistic and challenging re-ID tasks. More information about the dataset is available at this https URL.

研究动机与目标

• 为解决缺乏大规模、真实世界行人重识别数据集，且在空间和时间上具有广泛多样性的现状。
• 模拟真实世界中的挑战，如长期外观变化、跨城市追踪以及季节性变化。
• 提供一个基准，用于评估在极端时空条件下重识别模型的性能。
• 开发并验证一种在大规模、多样化重识别场景中有效的实用基线模型。
• 证明在LaST上预训练的模型能够有效泛化到现有的短期和衣物变化重识别基准。

提出的方法

• 通过从多个城市和长时间跨度内收集图像来构建LaST数据集，包括白天和夜晚以及季节性变化。
• 包含10,862个身份和超过228,000张图像，确保外观、位置和时间上的高度多样性。
• 在LaST基准上评估14种最先进的重识别算法，以评估其在极端时空条件下的性能。
• 设计一种简单但有效的基线模型，在具有挑战性的LaST设置中表现良好。
• 在LaST上进行模型训练和微调，以评估其在现有短期和衣物变化基准上的泛化能力。

实验结果

研究问题

• RQ1 在极端空间和时间变化条件下，如跨城市和多季节追踪时，行人重识别的性能如何退化？
• RQ2 一个在LaST上预训练的单一模型是否能有效泛化到现有具有短期或衣物变化场景的重识别基准？
• RQ3 当前数据集未能捕捉到的大规模时空行人重识别中的关键挑战是什么？
• RQ4 当在具有前所未有的时空多样性的数据集上评估时，现有重识别算法的表现如何？
• RQ5 简单基线模型在LaST基准上的表现如何？它是否能为未来研究提供坚实基础？

主要发现

• LaST数据集在空间和时间覆盖范围上显著超越现有基准，其身份跨越多个城市、昼夜时段和季节。
• 所有14种评估的重识别算法在LaST上的性能相比标准基准均出现显著下降，表明其具有很高的挑战性。
• 所提出的基线模型在LaST上表现出色，证明其在处理大规模时空变化方面的有效性。
• 在LaST上预训练的模型在现有基准上表现出更好的泛化能力，尤其在衣物变化和短期重识别场景中。
• 结果证实，LaST是评估和推进真实世界行人重识别系统发展的合适基准。