[论文解读] Body Part-Based Representation Learning for Occluded Person Re-Identification

Vladimir Somers, Christophe De Vleeschouwer+1 more|arXiv (Cornell University)|Nov 7, 2022

Video Surveillance and Tracking Methods参考文献 48被引用 13

一句话总结

该论文提出BPBreID，一种基于人体部位的表示学习框架，用于遮挡行人重识别，解决了两个关键挑战：局部外观判别性不足以及缺乏人体拓扑标注。该方法引入了双监督注意力模块以实现精确的部位定位，并提出了一种新颖的GiLt损失，结合全局身份和局部三元组监督，提升了对遮挡的鲁棒性，在Occluded-Duke数据集上实现了SOTA性能，mAP提升0.7%，rank-1准确率提升5.6%。

ABSTRACT

Occluded person re-identification (ReID) is a person retrieval task which aims at matching occluded person images with holistic ones. For addressing occluded ReID, part-based methods have been shown beneficial as they offer fine-grained information and are well suited to represent partially visible human bodies. However, training a part-based model is a challenging task for two reasons. Firstly, individual body part appearance is not as discriminative as global appearance (two distinct IDs might have the same local appearance), this means standard ReID training objectives using identity labels are not adapted to local feature learning. Secondly, ReID datasets are not provided with human topographical annotations. In this work, we propose BPBreID, a body part-based ReID model for solving the above issues. We first design two modules for predicting body part attention maps and producing body part-based features of the ReID target. We then propose GiLt, a novel training scheme for learning part-based representations that is robust to occlusions and non-discriminative local appearance. Extensive experiments on popular holistic and occluded datasets show the effectiveness of our proposed method, which outperforms state-of-the-art methods by 0.7% mAP and 5.6% rank-1 accuracy on the challenging Occluded-Duke dataset. Our code is available at https://github.com/VlSomers/bpbreid.

研究动机与目标

• 解决基于部位的ReID中局部外观判别性不足的问题，即不同身份的个体在局部外观上可能相似。
• 通过利用外部语义信息对注意力图进行监督，弥补ReID数据集中缺乏人体拓扑标注的不足。
• 设计一种训练方案，即使在存在遮挡和模糊局部特征的情况下，也能有效学习判别性部位表示。
• 通过实现细粒度的、针对可见部位的特征对比，提升遮挡ReID中的部位到部位匹配性能。
• 构建一个统一框架，将基于注意力的特征定位与新型损失函数相结合，以增强模型的鲁棒性与准确性。

提出的方法

• 提出一种基于人体部位的注意力模块，通过身份标签和粗粒度人体分割标注的双监督进行训练，生成与ReID相关的注意力图。
• 引入GiLt（Global-identity Local-triplet）损失，对全局特征和拼接特征施加身份损失，仅对基于部位的特征施加三元组损失，以增强局部表示的判别性。
• 采用特征聚合策略，结合基于部位的嵌入与可见性感知加权，优先考虑检索过程中可见的身体部位。
• 采用两阶段训练流程：首先，通过分割标签的交叉熵和身份一致性监督注意力模块；其次，使用GiLt损失优化完整模型。
• 应用软注意力图对全局特征图进行空间池化，提取在空间上对齐且语义相关的局部化表示。
• 采用ResNet-50主干网络，并配备针对部位的分类头，以实现端到端的部位感知特征学习。

实验结果

研究问题

• RQ1 当局部外观在不同身份之间缺乏判别性时，如何有效训练基于部位的ReID模型？
• RQ2 在缺乏真实部位标注的情况下，能否有效利用外部人体语义标注（如分割标签）来指导注意力图学习？
• RQ3 在遮挡条件下，身份损失与三元组损失的最佳组合方式是什么？
• RQ4 与整体特征相比，基于部位的特征在遮挡和背景杂波下的鲁棒性如何？
• RQ5 一种避免对部位特征进行直接监督的训练方案，是否能提升遮挡ReID场景下的泛化能力？

主要发现

• 所提出的GiLt损失通过仅在基于部位的特征上应用三元组损失，并在全局和拼接特征上应用身份损失，取得了最佳性能，优于简单的损失组合方式。
• 仅在基于部位的特征上应用身份损失会导致性能下降，这归因于对遮挡和非判别性局部特征的敏感性，验证了专用损失的必要性。
• 使用双监督注意力模块显著提升了注意力图质量，相比直接使用姿态估计输出，能实现更精确且与ReID相关的部位定位。
• 基于部位的特征，尤其是上半身部位，比下半身部位更具判别性，而下半身部位常被遮挡，这证实了可见性感知融合的重要性。
• 将所有基于部位的嵌入通过可见性加权平均进行融合，可达到最高性能，表明联合建模相互可见部位对遮挡ReID至关重要。
• 在Occluded-Duke数据集上，BPBreID相较于之前的SOTA方法，rank-1准确率提升5.6%，mAP提升0.7%，验证了其在复杂遮挡场景下的有效性。