[论文解读] Discovering Underlying Person Structure Pattern with Relative Local Distance for Person Re-identification

Guangcong Wang, Jianhuang Lai+2 more|arXiv (Cornell University)|Jan 29, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 5

一句话总结

该论文提出了一种新型端到端方法——相对局部距离（RLD），在无需姿态标注的情况下建模行人重识别中的潜在行人结构。通过从特征图计算相对局部距离矩阵并将其作为正则化项，RLD在全局特征学习中引入结构感知能力，在Market-1501、CUHK03和DukeMTMC-reID数据集上实现了最先进性能，且训练速度更快。

ABSTRACT

Modeling the underlying person structure for person re-identification (re-ID) is difficult due to diverse deformable poses, changeable camera views and imperfect person detectors. How to exploit underlying person structure information without extra annotations to improve the performance of person re-ID remains largely unexplored. To address this problem, we propose a novel Relative Local Distance (RLD) method that integrates a relative local distance constraint into convolutional neural networks (CNNs) in an end-to-end way. It is the first time that the relative local constraint is proposed to guide the global feature representation learning. Specially, a relative local distance matrix is computed by using feature maps and then regarded as a regularizer to guide CNNs to learn a structure-aware feature representation. With the discovered underlying person structure, the RLD method builds a bridge between the global and local feature representation and thus improves the capacity of feature representation for person re-ID. Furthermore, RLD also significantly accelerates deep network training compared with conventional methods. The experimental results show the effectiveness of RLD on the CUHK03, Market-1501, and DukeMTMC-reID datasets. Code is available at \url{https://github.com/Wanggcong/RLD_codes}.

研究动机与目标

• 解决在存在大姿态变化和视角变换时，行人重识别中建模行人结构的挑战，且不依赖昂贵的姿态标注。
• 开发一种将结构归纳偏置整合到深度网络中的方法，以提升行人重识别中的特征表示能力。
• 在保持或提升性能的同时，加速深度网络的训练，相比传统方法更具优势。
• 通过学习行人图像中局部区域之间的相对空间关系，弥合全局与局部特征表示之间的差距。

提出的方法

• 从卷积特征图的列向量计算相对局部距离（RLD）矩阵，以捕捉结构关系。
• 在端到端训练方案中将RLD矩阵用作正则化项，引导网络学习结构感知的全局特征。
• 在标准分类网络基础上增加一个小型辅助分支，用于学习相对局部距离约束。
• 通过联合优化身份分类损失和结构感知损失，提升特征的可分性。
• 在主干网络后应用全局平均池化，随后通过全连接层进行分类和结构学习。
• 通过减少补丁匹配方法中常见的迭代或不可微操作，实现更快的训练速度。

实验结果

研究问题

• RQ1 我们能否在不使用额外姿态标注的情况下，对行人重识别中的潜在行人结构进行建模？
• RQ2 图像补丁之间的相对局部距离如何用于改进深度网络中的全局特征表示？
• RQ3 可微的、端到端可训练的结构正则化器能否同时提升行人重识别中的准确率和训练速度？
• RQ4 学习身体部位之间的相对空间关系是否能增强在姿态和视角变化下的泛化能力？

主要发现

• 在Market-1501数据集上，RLD实现了88.4%的rank-1和71.3%的mAP，优于无需部件标注的最先进方法。
• 在引入Era重排序策略后，RLD+Era在Market-1501上达到90.2%的rank-1和76.1%的mAP，超越了最先进结果。
• 在CUHK03数据集上，RLD实现了52.5%的rank-1和48.5%的mAP，显著优于SVDNet和PAN等先前方法。
• 在DukeMTMC-reID数据集上，RLD实现了77.7%的rank-1和59.7%的mAP，展现出强大的跨数据集泛化能力。
• 由于相对距离的计算是可微且单图完成的，RLD相比基于补丁匹配的方法显著减少了训练时间。
• 该方法即使在不使用复杂技巧的情况下也表现优异，仅通过极少的网络结构修改即可实现具有竞争力的性能。