[论文解读] Deep Group-shuffling Random Walk for Person Re-identification

Yantao Shen, Hongsheng Li+4 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 45被引用 23

一句话总结

该论文提出了一种新型的端到端可训练分组洗牌随机游走（GSRW）层，通过随机游走传播机制，利用画廊到画廊（G2G）亲和力来优化探针到画廊（P2G）亲和力。通过将特征维度分组并洗牌以施加丰富的监督，该方法在Market-1501、CUHK03和DukeMTMC数据集上实现了最先进性能，mAP相比先前方法最高提升35.4%。

ABSTRACT

Person re-identification aims at finding a person of interest in an image gallery by comparing the probe image of this person with all the gallery images. It is generally treated as a retrieval problem, where the affinities between the probe image and gallery images (P2G affinities) are used to rank the retrieved gallery images. However, most existing methods only consider P2G affinities but ignore the affinities between all the gallery images (G2G affinity). Some frameworks incorporated G2G affinities into the testing process, which is not end-to-end trainable for deep neural networks. In this paper, we propose a novel group-shuffling random walk network for fully utilizing the affinity information between gallery images in both the training and testing processes. The proposed approach aims at end-to-end refining the P2G affinities based on G2G affinity information with a simple yet effective matrix operation, which can be integrated into deep neural networks. Feature grouping and group shuffle are also proposed to apply rich supervisions for learning better person features. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets by large margins, which demonstrate the effectiveness of our approach.

研究动机与目标

• 为解决现有行人重识别方法仅依赖探针到画廊（P2G）亲和力，而忽略训练和测试过程中画廊到画廊（G2G）亲和力的局限性。
• 开发一种端到端可训练框架，将G2G亲和力信息整合到深度学习过程中，而非作为后处理重排序步骤。
• 通过将特征维度划分为若干组并施加组级监督，提升特征学习能力，增强判别性。
• 设计一种分组洗牌操作，将多个P2G和G2G亲和力对组合，以生成更丰富、更具正则化的训练信号。

提出的方法

• 提出一种分组洗牌随机游走（GSRW）层，通过可微分、端到端的方式，利用随机游走传播在G2G亲和力基础上优化初始P2G亲和力。
• 引入特征分组机制，将嵌入向量划分为多个子向量，实现每组的监督，提升特征学习的鲁棒性。
• 应用分组洗牌操作，将分组后的P2G和G2G亲和力重新组合，以在不同特征子空间中生成多样化的训练信号。
• 使用成对亲和力卷积神经网络（CNN）在输入GSRW层前计算初始P2G和G2G亲和力。
• 通过矩阵运算，利用随机游走算法在画廊集合中传播亲和力信息，基于G2G关系更新P2G亲和力。
• 通过将GSRW层集成到深度神经网络架构中，实现特征学习与亲和力优化的联合优化。

实验结果

研究问题

• RQ1 在深度行人重识别模型的训练阶段，能否有效利用G2G亲和力来提升特征学习能力和排序性能？
• RQ2 如何以端到端可训练的方式将G2G亲和力信息整合到深度网络中，而非作为后处理步骤？
• RQ3 通过将特征分组并洗牌，是否能通过每特征维度的更丰富监督，增强学习到的行人嵌入的判别能力？
• RQ4 基于随机游走的优化机制能否通过利用画廊图像间的结构关系，改善P2G亲和力估计？

主要发现

• 在Market-1501数据集上，所提方法达到94.0%的平均平均精度（mAP），相比之前最先进方法提升35.4%。
• 在CUHK03数据集上，方法达到94.0% mAP和94.9% top-1准确率，top-1准确率相比次佳方法提升19.4%。
• 在DukeMTMC数据集上，方法达到66.4% mAP和80.7% top-1准确率，分别较SVDNet提升9.6%和14.0%。
• 即使未使用额外训练数据或人体姿态标注，该方法在SSM、k-reciprocal、OL-MANS等重排序基线方法上也展现出显著优势。
• 消融实验验证，特征分组和分组洗牌操作均对性能提升有显著贡献，证实其在增强监督中的关键作用。
• GSRW层的端到端训练可生成更具判别性的特征，并在所有三个基准数据集上实现更优的泛化能力。