[论文解读] Horizontal Pyramid Matching for Person Re-identification

Yang Fu, Yunchao Wei+6 more|arXiv (Cornell University)|Apr 14, 2018

Video Surveillance and Tracking Methods参考文献 32被引用 59

一句话总结

介绍 Horizontal Pyramid Matching (HPM)，通过使用平均池化和最大池化来学习部分的、多尺度的水平特征，在不进行后处理的情况下实现最先进的再识别（re-identification）结果。

ABSTRACT

Despite the remarkable recent progress, person re-identification (Re-ID) approaches are still suffering from the failure cases where the discriminative body parts are missing. To mitigate such cases, we propose a simple yet effective Horizontal Pyramid Matching (HPM) approach to fully exploit various partial information of a given person, so that correct person candidates can be still identified even even some key parts are missing. Within the HPM, we make the following contributions to produce a more robust feature representation for the Re-ID task: 1) we learn to classify using partial feature representations at different horizontal pyramid scales, which successfully enhance the discriminative capabilities of various person parts; 2) we exploit average and max pooling strategies to account for person-specific discriminative information in a global-local manner. To validate the effectiveness of the proposed HPM, extensive experiments are conducted on three popular benchmarks, including Market-1501, DukeMTMC-ReID and CUHK03. In particular, we achieve mAP scores of 83.1%, 74.5% and 59.7% on these benchmarks, which are the new state-of-the-arts. Our code is available on Github

研究动机与目标

• 在部分或缺失的身体部位与对齐误差的条件下，推动鲁棒的Re-ID。
• 提出一个简单、端到端的框架，通过水平金字塔尺度利用部分信息。
• 结合全局平均池化和全局最大池化，以同时捕捉上下文信息和判别信号。
• 在 Market-1501、DukeMTMC-ReID 和 CUHK03 上展示无需后处理的最先进性能。

提出的方法

• 把特征图水平分割成多个金字塔尺度（HPP）。
• 在每个金字塔尺度的每个水平分箱学习独立分类器。
• 在每个分区内同时使用全局平均池化和全局最大池化，以得到 G_{i,j} = avgpool(F_{i,j}) + maxpool(F_{i,j})。
• 通过卷积层将每个 G_{i,j} 降维到 256-d，形成 H_{i,j}，再输入到每个分箱的分类器。
• 以跨越所有金字塔分箱与尺度的交叉熵损失之和进行训练。
• 在测试阶段，将来自各尺度所有分箱的特征拼接以形成最终表示。

实验结果

研究问题

• RQ1 水平多尺度分区是否能提升在人体重识别中对齐不良和缺失身体部位的鲁棒性？
• RQ2 在每个分区内结合平均池化和最大池化是否能增强辨别能力？
• RQ3 对于具有竞争力的端到端 Re-ID 性能，最优的金字塔尺度和池化配置是什么？
• RQ4 在 Market-1501、DukeMTMC-ReID、CUHK03 上，HPM 在无后处理的情况下与最先进方法相比如何？

主要发现

• HPM 在 Market-1501 上达到 83.1% 的 mAP，在 DukeMTMC-ReID 上达到 74.5%，在 CUHK03 上达到 59.7%，使用新协议（当时的最先进水平）。
• HPM 在 Market-1501 和 DukeMTMC-ReID 上在 mAP 和 Rank-1 上超越 PCB 与 PCB+RPP 基线，且无需后处理。
• 使用四个金字塔尺度并混合最大池化和平均池化，在全局与局部特征之间提供最佳折衷。
• 最大池化通常比平均池化获得更好的结果，结合两者池化策略可实现进一步提升。
• 消融研究表明四个金字塔尺度在全局与局部信息之间达到平衡；更多尺度并未带来一致的改进且成本增加。