[论文解读] MaskReID: A Mask Based Deep Ranking Neural Network for Person Re-identification

Lei Qi, Jing Huo+3 more|arXiv (Cornell University)|Apr 11, 2018

Video Surveillance and Tracking Methods参考文献 34被引用 61

一句话总结

MaskReID 引入遮罩前景输入、跳跃式多层特征融合，以及一种新颖的排序损失，以提升在多个数据集上的行人再识别性能。

ABSTRACT

Person retrieval faces many challenges including cluttered background, appearance variations (e.g., illumination, pose, occlusion) among different camera views and the similarity among different person's images. To address these issues, we put forward a novel mask based deep ranking neural network with a skipped fusing layer. Firstly, to alleviate the problem of cluttered background, masked images with only the foreground regions are incorporated as input in the proposed neural network. Secondly, to reduce the impact of the appearance variations, the multi-layer fusion scheme is developed to obtain more discriminative fine-grained information. Lastly, considering person retrieval is a special image retrieval task, we propose a novel ranking loss to optimize the whole network. The proposed ranking loss can further mitigate the interference problem of similar negative samples when producing ranking results. The extensive experiments validate the superiority of the proposed method compared with the state-of-the-art methods on many benchmark datasets.

研究动机与目标

• 通过使用遮罩的前景输入来减轻背景杂乱，以提升 Re-ID。
• 通过多层特征融合捕捉细粒度、跨视角信息。
• 开发一种在检索中有效处理多个正样本和负样本的排序损失。

提出的方法

• 使用分割来生成遮罩前景图像，并将原始输入与遮罩输入同时送入网络。
• 使用跳过式特征融合层，将低级、中级和高级特征融合。
• 采用一种新颖的排序损失，联同多正样本和负样本来优化排序。
• 将网络建立在类似 Inception 的结构上，并为融合特征使用共享主干网络。
• 以受 N-pair 启发的排序目标进行训练，并扩展到每个锚点具有多个正样本/负样本的情形。

实验结果

研究问题

• RQ1 遮罩前景输入是否能减少背景杂乱并提升跨数据集的 Re-ID 准确性？
• RQ2 通过跳过式融合层结合多级特征是否能获得更具辨别力的行人检索表示？
• RQ3 在 Re-ID 任务中，使用每个锚点具有多个正样本和负样本的排序损失是否优于 triplet、N-pair 和标准 softmax 损失？

主要发现

方法	VIPeR	PRID	3DPeS	iLIDS	CUHK01	CUHK03
DGD	38.60	64.00	56.00	64.60	66.60	75.30
MaskReID-F	39.24	64.00	64.88	66.09	77.16	87.47
MaskReID-M	44.62	65.00	66.12	69.57	84.26	88.75
MaskReID (Ours)	45.57	70.00	68.60	70.43	84.05	92.25

• MaskReID 在小规模数据集上取得了具有竞争力的结果，在 Market1501 和 DukeMTMC-reID 等大规模数据集上达到最先进的性能。
• 遮罩输入和多层特征融合促成了相较于基线 DGD 网络的性能提升。
• 所提出的排序损失优于 softmax、triplet 和 N-pair 损失，重新排序（re-ranking）进一步提升结果。
• 消融实验显示遮罩输入与融合特征均有益处，二者的组合带来最佳性能。
• 在 Market1501 单查询上，MaskReID 达到 Rank-1 90.44% 和 mAP 75.36%；使用 re-ranking 时，Rank-1 92.46% 和 mAP 88.13%（单查询）。
• 在 DukeMTMC-reID 上，MaskReID 实现 Rank-1 78.86% 和 mAP 61.89%；使用 re-ranking 时，Rank-1 84.07% 和 mAP 79.73% 。