[论文解读] Holistic Guidance for Occluded Person Re-Identification

Madhu Kiran, R. Gnana Praveen+4 more|arXiv (Cornell University)|Apr 13, 2021

Video Surveillance and Tracking Methods被引用 11

一句话总结

本文提出了一种用于遮挡行人重识别的全局指导（HG）方法，该方法利用全局数据集与遮挡数据集之间的特征分布差异，在无需外部监督（如姿态估计）的情况下，训练一个学生-教师模型。通过联合使用去噪自编码器和分布匹配技术，从两种数据类型中进行联合学习，该方法生成聚焦于可见区域的注意力图，在遮挡和全局行人重识别基准上均实现了最先进性能。

ABSTRACT

In real-world video surveillance applications, person re-identification (ReID) suffers from the effects of occlusions and detection errors. Despite recent advances, occlusions continue to corrupt the features extracted by state-of-art CNN backbones, and thereby deteriorate the accuracy of ReID systems. To address this issue, methods in the literature use an additional costly process such as pose estimation, where pose maps provide supervision to exclude occluded regions. In contrast, we introduce a novel Holistic Guidance (HG) method that relies only on person identity labels, and on the distribution of pairwise matching distances of datasets to alleviate the problem of occlusion, without requiring additional supervision. Hence, our proposed student-teacher framework is trained to address the occlusion problem by matching the distributions of between- and within-class distances (DCDs) of occluded samples with that of holistic (non-occluded) samples, thereby using the latter as a soft labeled reference to learn well separated DCDs. This approach is supported by our empirical study where the distribution of between- and within-class distances between images have more overlap in occluded than holistic datasets. In particular, features extracted from both datasets are jointly learned using the student model to produce an attention map that allows separating visible regions from occluded ones. In addition to this, a joint generative-discriminative backbone is trained with a denoising autoencoder, allowing the system to self-recover from occlusions. Extensive experiments on several challenging public datasets indicate that the proposed approach can outperform state-of-the-art methods on both occluded and holistic datasets

研究动机与目标

• 解决行人重识别中持续存在的遮挡问题，该问题会降低特征质量并影响匹配准确性，尤其在真实监控场景中。
• 克服现有方法依赖昂贵外部监督（如姿态估计或掩码生成）进行遮挡感知特征学习的局限性。
• 利用全局与遮挡数据集之间成对相似性（类别距离分布）的分布差异，指导自监督注意力学习。
• 开发一种轻量化、推理高效的模型，仅在训练时使用身份标签，测试时无需额外提示，从而提升鲁棒性与部署可行性。

提出的方法

• 训练一个学生-教师模型，其中教师从全局数据集中学习，通过类别距离分布（DCDs）建模真实类别分布。
• 利用全局与遮挡数据集的DCD差异作为监督信号，训练学生网络生成突出可见身体部位的注意力图。
• 采用联合生成-判别式CNN主干网络，结合去噪自编码器，实现在特征学习过程中对遮挡的自我恢复。
• 引入多模态损失，结合身份损失、重建损失（用于去噪）和最大均值差异（MMD），以对齐全局与遮挡数据之间的特征分布。
• 在推理阶段应用注意力图，抑制遮挡区域的特征，突出可见且具有判别力的部分。
• 仅在训练阶段使用身份标签，避免对姿态估计、边界框标注或分割掩码的依赖。

实验结果

研究问题

• RQ1 能否有效利用全局与遮挡数据集之间成对匹配距离的分布差异，指导遮挡行人重识别中的注意力学习？
• RQ2 在无外部监督的情况下，基于全局数据分布训练的学生-教师框架是否能提升模型在遮挡场景下的泛化能力与鲁棒性？
• RQ3 结合去噪自编码的联合生成-判别主干网络是否能增强对遮挡输入的特征恢复能力？
• RQ4 与依赖姿态估计或掩码监督的最先进方法相比，该方法在准确率与推理效率方面表现如何？
• RQ5 该方法在遮挡与非遮挡行人重识别基准上的泛化能力达到何种程度？

主要发现

• 所提出的HG方法在Occluded-ReID基准上实现了最先进性能，优于需要姿态估计或复杂后处理的方法。
• 在Market1501与Duke-MTMC数据集上，HG模型在全局行人重识别任务中也表现出具有竞争力的准确率，展现出强大的泛化能力。
• 消融实验表明，结合重建损失、MMD与注意力学习可获得最佳性能，其中MMD损失在对齐特征分布方面起关键作用。
• 该方法在遮挡数据集上的性能显著优于基线微调方法，且超越仅使用数据增强训练的模型。
• 定性结果表明，HG生成的注意力图能有效定位可见区域，即使头部与腿部被遮挡，其表现也优于基于姿态的注意力方法（如PGFA）。
• 该模型仅通过身份标签和少量注意力头即可实现高性能，参数增加极少，适用于实时部署。