[论文解读] Long-Term Cloth-Changing Person Re-identification

Xuelin Qian, Wenxuan Wang+6 more|arXiv (Cornell University)|May 26, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 5

一句话总结

本文提出一个全新的大规模长期衣物更换行人重识别（LTCC）数据集，并提出一种新型深度学习方法，以应对长期衣物变化下的行人重识别问题。该方法采用形状嵌入模块，提取基于人体关节点的结构特征；并通过自注意力机制实现的衣物消除形状蒸馏（CESD）模块，解耦与身份相关的身体形状特征与依赖衣物的外观特征，在新提出的LTCC基准上实现最先进性能，相比基线模型提升3%的Rank-1准确率。

ABSTRACT

Person re-identification (Re-ID) aims to match a target person across camera views at different locations and times. Existing Re-ID studies focus on the short-term cloth-consistent setting, under which a person re-appears in different camera views with the same outfit. A discriminative feature representation learned by existing deep Re-ID models is thus dominated by the visual appearance of clothing. In this work, we focus on a much more difficult yet practical setting where person matching is conducted over long-duration, e.g., over days and months and therefore inevitably under the new challenge of changing clothes. This problem, termed Long-Term Cloth-Changing (LTCC) Re-ID is much understudied due to the lack of large scale datasets. The first contribution of this work is a new LTCC dataset containing people captured over a long period of time with frequent clothing changes. As a second contribution, we propose a novel Re-ID method specifically designed to address the cloth-changing challenge. Specifically, we consider that under cloth-changes, soft-biometrics such as body shape would be more reliable. We, therefore, introduce a shape embedding module as well as a cloth-elimination shape-distillation module aiming to eliminate the now unreliable clothing appearance features and focus on the body shape information. Extensive experiments show that superior performance is achieved by the proposed model on the new LTCC dataset. The code and dataset will be available at https://naiq.github.io/LTCC_Perosn_ReID.html.

研究动机与目标

• 为解决在长时间跨度中衣物频繁更换的实际但研究不足的行人重识别挑战。
• 弥合当前短期、衣物一致的Re-ID基准与涉及长期跟踪与服饰变化的实际部署场景之间的差距。
• 开发一种深度学习模型，通过聚焦于身体形状等软生物特征，学习身份不变的表征，同时抑制依赖衣物的特征。
• 提供一个大规模、长期、多视角的全新数据集，涵盖多样化衣物变化，以支持未来在鲁棒Re-ID方面的研究。

提出的方法

• 提出形状嵌入（SE）模块，通过关系网络建模人体关键点坐标之间的空间与语义关系，提取身体形状特征。
• 引入衣物消除形状蒸馏（CESD）模块，利用自注意力机制重新缩放特征图，显式解耦与身份相关的特征与衣物相关的特征。
• CESD模块应用于ResNet-50的残差块之后，消融实验表明，将其插入res3和res4块之后性能最优。
• 模型采用三元组损失端到端训练，以增强身份相关特征空间中的类内紧凑性与类间可分性。
• 通过t-SNE可视化验证特征解耦效果：无论衣物如何变化，身份相关特征（$f^+$）按人员聚类，而衣物相关特征（$f^-$）则按颜色与风格聚类。

实验结果

研究问题

• RQ1 在真实监控场景中，衣物外观随数天或数月变化时，深度学习模型能否实现行人重识别的泛化？
• RQ2 在频繁更换服饰的长期Re-ID场景中，身体形状等软生物特征在多大程度上优于依赖衣物的外观特征？
• RQ3 专用模块能否在弱监督设置下有效解耦身份相关的身体结构与衣物相关的视觉线索？
• RQ4 现有Re-ID模型在长期衣物更换条件下，相较于标准基准，性能下降程度如何？

主要发现

• 所提方法在LTCC数据集上相比基线模型实现3%更高的Rank-1准确率，证明在衣物变化条件下长期Re-ID性能显著提升。
• 在衣物更换场景下，形状嵌入（SE）模块对Rank-1准确率贡献约3个百分点，凸显其在捕捉稳定身份线索中的关键作用。
• 衣物消除形状蒸馏（CESD）模块在所有设置下均使Rank-1与mAP提升2–3%，在最具挑战性的衣物更换场景中提升最大。
• 消融实验表明，将CESD模块同时插入res3与res4块后，性能优于仅使用单个模块，表明多尺度特征优化的益处。
• t-SNE可视化结果证实，身份相关特征（$f^+$）无论衣物如何均按人员聚类，而衣物相关特征（$f^-$）则按颜色与穿搭风格聚类，验证了解耦目标的有效性。
• 在LTCC基准上，训练时使用衣物标签仅带来微小收益，凸显外观特征在长期场景中的局限性。