[论文解读] A Benchmark of Video-Based Clothes-Changing Person Re-Identification

Likai Wang, Xiang-Qun Zhang+5 more|arXiv (Cornell University)|Nov 21, 2022

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出了一种用于衣物更换场景下基于视频的人重识别的双分支置信度感知重排序框架，通过置信度引导的加权融合外观与步态特征。该工作引入了两个新基准——合成数据集与真实世界数据集，展示了在合成与真实世界数据集上的最先进性能，其在CC设置下的mAP达到39.8%，R1达到54.8%，显著优于单模态基线方法。

ABSTRACT

Person re-identification (Re-ID) is a classical computer vision task and has achieved great progress so far. Recently, long-term Re-ID with clothes-changing has attracted increasing attention. However, existing methods mainly focus on image-based setting, where richer temporal information is overlooked. In this paper, we focus on the relatively new yet practical problem of clothes-changing video-based person re-identification (CCVReID), which is less studied. We systematically study this problem by simultaneously considering the challenge of the clothes inconsistency issue and the temporal information contained in the video sequence for the person Re-ID problem. Based on this, we develop a two-branch confidence-aware re-ranking framework for handling the CCVReID problem. The proposed framework integrates two branches that consider both the classical appearance features and cloth-free gait features through a confidence-guided re-ranking strategy. This method provides the baseline method for further studies. Also, we build two new benchmark datasets for CCVReID problem, including a large-scale synthetic video dataset and a real-world one, both containing human sequences with various clothing changes. We will release the benchmark and code in this work to the public.

研究动机与目标

• 为解决在长时间跨度中衣物发生变化时，基于视频的人重识别问题研究不足的问题。
• 利用时序视频信息与与衣物无关的步态特征，提升在衣物变化情况下的重识别鲁棒性。
• 构建大规模、多样化的基准数据集，用于CCVReID任务，涵盖合成与真实世界序列。
• 开发一种统一框架，通过置信度感知的重排序融合外观与步态特征，以提升准确性。

提出的方法

• 提出一种双分支框架，分别使用预训练的重识别与步态识别模型从视频序列中提取外观与步态特征。
• 引入一种置信度感知的重排序策略，根据学习到的置信度分数动态加权外观与步态分支的相似度分数。
• 设计一种伪标签用于置信度监督，将真实排名顺序视为最优参考（oracle）以训练置信度估计。
• 采用置信度损失函数，联合优化外观与步态特征表示及其对应的置信度分数。
• 使用全连接层将置信度加权的相似度分数进行融合，实现端到端训练。
• 采用由超参数γ控制的候选采样策略，在训练过程中平衡初始的外观与步态排名列表。

实验结果

研究问题

• RQ1 如何有效结合时序视频信息与与衣物无关的步态特征，以提升在衣物变化情况下的重识别性能？
• RQ2 当外观与步态特征的可靠性在不同查询中变化时，最优的融合策略是什么？
• RQ3 在衣物变化存在的情况下，置信度感知重排序相较于简单融合或固定权重策略有何优势？
• RQ4 训练数据分布与多样性的选择对CCVReID中模型泛化能力有何影响？

主要发现

• 所提出的置信度感知重排序框架在衣物更换（CC）设置下实现了39.8%的mAP与54.8%的R1，显著优于单模态基线方法。
• 采用学习到的置信度分数的模型（表5最后一行）表现最佳，证明了端到端置信度学习在提升性能方面优于固定或零置信度设置。
• 最优的候选集合策略采用γ = 0.75，该策略在可靠外观邻居与步态候选之间取得平衡，从而在所有设置下实现最高准确率。
• 若从任一分支中移除置信度损失，性能均出现下降，证实置信度监督对于鲁棒特征融合至关重要。
• 引入全连接层进行相似度重新加权可提升性能，表明学习到的融合方式优于直接求和。
• 合成的SCCVReID数据集包含来自333位身份的9,620个序列，每个身份具有2至37种衣物变化，为CCVReID研究提供了大规模、多样化的基准。