[论文解读] Foreground-aware Pyramid Reconstruction for Alignment-free Occluded Person Re-identification

Lingxiao He, Yinggang Wang+5 more|arXiv (Cornell University)|Apr 10, 2019

Video Surveillance and Tracking Methods参考文献 20被引用 52

一句话总结

本文提出 Foreground-aware Pyramid Reconstruction (FPR)，一种基于 FCN 的空间金字塔和前景引导重建的对齐自由遮挡人重识别方法，用于在没有外部线索的情况下处理遮挡。

ABSTRACT

Re-identifying a person across multiple disjoint camera views is important for intelligent video surveillance, smart retailing and many other applications. However, existing person re-identification (ReID) methods are challenged by the ubiquitous occlusion over persons and suffer from performance degradation. This paper proposes a novel occlusion-robust and alignment-free model for occluded person ReID and extends its application to realistic and crowded scenarios. The proposed model first leverages the full convolution network (FCN) and pyramid pooling to extract spatial pyramid features. Then an alignment-free matching approach, namely Foreground-aware Pyramid Reconstruction (FPR), is developed to accurately compute matching scores between occluded persons, despite their different scales and sizes. FPR uses the error from robust reconstruction over spatial pyramid features to measure similarities between two persons. More importantly, we design an occlusion-sensitive foreground probability generator that focuses more on clean human body parts to refine the similarity computation with less contamination from occlusion. The FPR is easily embedded into any end-to-end person ReID models. The effectiveness of the proposed method is clearly demonstrated by the experimental results (Rank-1 accuracy) on three occluded person datasets: Partial REID (78.30\%), Partial iLIDS (68.08\%) and Occluded REID (81.00\%); and three benchmark person datasets: Market1501 (95.42\%), DukeMTMC (88.64\%) and CUHK03 (76.08\%)

研究动机与目标

• 在不依赖于像掩码或姿态等外部线索的情况下解决人重识别中的遮挡问题。
• 开发一个基于金字塔特征和重建误差的对齐自由匹配分数。
• 用前景概率图引导重建，以减少遮挡/背景污染。
• 实现与现有 ReID 模型的端到端集成，同时在遮挡情况下提升 Rank-1 和 mAP。

提出的方法

• 使用带金字塔池化的全卷积网络（FCN）从可变大小的人体图像中提取多尺度空间特征。
• 从空间特征构建图库和探测特征矩阵，并对探测特征进行线性重建以从图库特征中得到。
• 计算重建残差，并将距离定义为在前景概率向量引导下的加权重建误差。
• 结合硬三元组损失和前景概率生成器损失进行训练，以学习判别性特征和准确的前景图。
• 前景概率生成器使用 1x1 卷积和 softmax 产生前景概率图，以按前景的可能性对特征进行加权。
• 将 FPR 作为 ReID 模型中的端到端模块进行集成，不需要对齐步骤。

实验结果

研究问题

• RQ1 一个基于空间金字塔重建的对齐自由匹配分数是否在强遮挡下也能实现鲁棒的 ReID？
• RQ2 对空间特征进行前景感知加权是否通过降低遮挡/背景污染来提高匹配性能？
• RQ3 所提出的 FPR 如何与标准 ReID 训练集成，其在遮挡和非遮挡数据集上的 Rank-1/mAP 有何影响？

主要发现

方法	遮挡_REID_R1	遮挡_REID_mAP	部分_REID_R1	部分_REID_mAP	部分_iLIDS_R1	部分_iLIDS_mAP
MaskReID	26.80	25.00	33.00	30.40	-	-
PCB	41.30	38.90	56.30	54.70	46.80	40.20
AMC+SWM	31.12	27.33	34.27	31.33	38.67	31.33
DSR	72.80	62.83	73.67	68.07	64.29	58.12
Baseline	42.12	37.24	53.33	50.20	52.94	43.53
FPR (ours)	78.30	68.00	81.00	76.60	68.08	61.78

• FPR 在三个遮挡 ReID 数据集上取得最先进的结果：Partial REID（Rank-1 81.00%，mAP 76.60%）、Partial iLIDS（Rank-1 68.08%，mAP 61.78%）、Occluded REID（Rank-1 78.30%，mAP 68.00%）。
• 在标准基准 Market1501、DukeMTMC 和 CUHK03 上，FPR 获得具有竞争力的结果（Rank-1 约 95.42%/76.08%/88.64%，mAP 约 86.58%/72.31%/78.42%）。
• FPR 在某些依赖外部线索或对齐的遮挡 ReID 方法之上，且在推理阶段保持对齐自由。
• 前景概率生成器通过在重建过程中更重视前景空间特征，有效降低遮挡和背景的影响。
• 由于基于 FCN 的空间特征和金字塔池化，该方法对不同图像尺寸和尺度保持鲁棒性。