[论文解读] Collaborative Attention Network for Person Re-identification

Wenpeng Li, Yongli Sun+4 more|arXiv (Cornell University)|Nov 29, 2019

Video Surveillance and Tracking Methods参考文献 22被引用 4

一句话总结

本文提出了一种协作注意力网络（CAN）用于行人重识别，通过端到端注意力机制将多尺度全局特征中的相邻局部特征切片进行融合，以增强特征表示能力。通过保留相邻局部区域之间的空间关系与尺度相关性，CAN 在 Market-1501 上实现了最先进性能，mAP 提升 2.4%，rank-1 准确率提升 0.7%。

ABSTRACT

Jointly utilizing global and local features to improve model accuracy is becoming a popular approach for the person re-identification (ReID) problem, because previous works using global features alone have very limited capacity at extracting discriminative local patterns in the obtained feature representation. Existing works that attempt to collect local patterns either explicitly slice the global feature into several local pieces in a handcrafted way, or apply the attention mechanism to implicitly infer the importance of different local regions. In this paper, we show that by explicitly learning the importance of small local parts and part combinations, we can further improve the final feature representation for Re-ID. Specifically, we first separate the global feature into multiple local slices at different scale with a proposed multi-branch structure. Then we introduce the Collaborative Attention Network (CAN) to automatically learn the combination of features from adjacent slices. In this way, the combination keeps the intrinsic relation between adjacent features across local regions and scales, without losing information by partitioning the global features. Experiment results on several widely-used public datasets including Market-1501, DukeMTMC-ReID and CUHK03 prove that the proposed method outperforms many existing state-of-the-art methods.

研究动机与目标

• 解决仅使用全局特征在捕捉行人重识别中判别性局部模式方面的局限性。
• 克服手工设计局部特征切片方法中存在的信息丢失与部分定义任意性问题。
• 通过建模跨尺度的相邻局部区域间关系，改进基于部件的特征学习。
• 开发一种端到端可训练机制，动态关注协作式局部特征，而无需对全局特征进行分割。
• 通过多分支结构与联合优化，结合全局与增强后的局部表示，在基准数据集上实现更优性能。

提出的方法

• 使用多分支网络结构将全局特征图分割为多个多尺度局部切片。
• 引入一种协作注意力网络（CAN），融合相邻局部切片的特征，以保留空间关系与尺度相关性。
• 使用可学习的注意力权重，动态强调局部部件中具有信息量的邻近区域。
• 将全局分支与局部分支联合集成到三元组损失与中心损失中，实现联合优化，增强判别能力。
• 推理阶段采用特征与权重归一化，并使用余弦距离进行相似度度量。
• 使用 Adam 优化器、余弦衰减学习率调度策略以及多损失函数（交叉熵、三元组损失、中心损失）进行模型训练。

实验结果

研究问题

• RQ1 将相邻局部特征切片进行融合，是否能在行人重识别中超越固定部件或仅全局特征的方法，实现更优的判别性表征？
• RQ2 在尺度与空间邻域范围内建模切片间关系，是否能带来优于独立局部特征提取的性能提升？
• RQ3 在不引起过拟合或信息丢失的前提下，实现性能最大化的最优局部切片数量是多少？
• RQ4 端到端的协作注意力机制是否能优于硬性注意力或固定部件融合策略，在基于部件的 Re-ID 中表现更优？
• RQ5 通过三元组损失与中心损失对全局与局部分支进行联合优化，是否能显著提升标准基准上的特征判别力？

主要发现

• 所提出的 CAN 在 Market-1501 上达到 90.6% 的 mAP 与 96.4% 的 rank-1 准确率，分别超越先前最先进方法（Pyramid：88.2% mAP，95.7% rank-1）2.4 和 0.7 个百分点。
• 在 DukeMTMC-ReID 上，CAN 达到 82.3% mAP 与 91.6% rank-1，显著优于先前最佳方法（Pyramid）。
• 在 CUHK03 上，CAN 达到 82.8% mAP 与 86.1% rank-1，超越所有先前发表的方法，包括在标注图像与检测图像上测试的方法。
• 实验表明，当局部切片数量超过最优点后，准确率反而下降，表明粒度与性能之间存在权衡。
• 消融实验证实，相邻切片间的协作注意力机制在提升特征表征方面，优于独立或固定部件融合方法。
• 通过三元组损失与中心损失对全局与局部分支进行联合优化，显著增强了模型的泛化能力与判别性能。