[论文解读] Hybrid-Attention Guided Network with Multiple Resolution Features for Person Re-Identification

Guoqing Zhang, Junchuan Yang+3 more|arXiv (Cornell University)|Sep 16, 2020

Video Surveillance and Tracking Methods参考文献 67被引用 5

一句话总结

本文提出一种基于多分辨率特征融合的混合注意力引导网络，用于行人重识别，通过结合低层次空间细节与高层次语义信息，提升特征的判别能力。通过整合空间与通道注意力机制、多粒度特征提取以及多池化特征提取器，该模型在无需重排序的情况下，在Market-1501数据集上实现了最先进性能，rank-1准确率达到95.65%，mAP达到87.67%。

ABSTRACT

Extracting effective and discriminative features is very important for addressing the challenging person re-identification (re-ID) task. Prevailing deep convolutional neural networks (CNNs) usually use high-level features for identifying pedestrian. However, some essential spatial information resided in low-level features such as shape, texture and color will be lost when learning the high-level features, due to extensive padding and pooling operations in the training stage. In addition, most existing person re-ID methods are mainly based on hand-craft bounding boxes where images are precisely aligned. It is unrealistic in practical applications, since the exploited object detection algorithms often produce inaccurate bounding boxes. This will inevitably degrade the performance of existing algorithms. To address these problems, we put forward a novel person re-ID model that fuses high- and low-level embeddings to reduce the information loss caused in learning high-level features. Then we divide the fused embedding into several parts and reconnect them to obtain the global feature and more significant local features, so as to alleviate the affect caused by the inaccurate bounding boxes. In addition, we also introduce the spatial and channel attention mechanisms in our model, which aims to mine more discriminative features related to the target. Finally, we reconstruct the feature extractor to ensure that our model can obtain more richer and robust features. Extensive experiments display the superiority of our approach compared with existing approaches. Our code is available at https://github.com/libraflower/MutipleFeature-for-PRID.

研究动机与目标

• 解决真实场景中因行人检测框不准确、模糊或错位导致的行人重识别性能下降问题。
• 通过在CNN多个阶段融合多分辨率特征，减轻深层网络中的信息损失。
• 通过多粒度特征操作与注意力机制，降低对精确检测框的依赖。
• 利用新型多池化特征提取器与混合注意力模块，增强判别性特征表示能力。

提出的方法

• 设计了一种多分辨率特征融合策略，用于在空间上对齐并融合CNN不同阶段的特征，以同时保留低层次与高层次表征。
• 应用混合注意力机制，结合空间注意力与通道注意力模块，突出显著区域并抑制噪声特征。
• 通过多粒度操作逐步扩大特征图尺寸，降低对检测框不准确的敏感性。
• 多池化特征提取器采用两种不同的池化操作，以捕捉多样化特征模式，提升表征能力。
• 采用两种损失函数联合训练模型，以同时优化特征判别性与身份对齐。
• 注意力模块按特定顺序堆叠——先空间注意力，后通道注意力——该顺序被证明可获得最佳性能。

实验结果

研究问题

• RQ1 如何有效融合多分辨率特征，以在行人重识别中同时保留空间细节与语义抽象？
• RQ2 注意力机制在多大程度上可减轻真实世界重识别应用中噪声或错位检测框的影响？
• RQ3 与固定分区方法相比，多粒度特征处理是否能提升对检测不准确的鲁棒性？
• RQ4 多池化特征提取器是否能超越标准全局平均池化，进一步增强判别能力？
• RQ5 空间注意力与通道注意力模块的最优应用顺序是什么，以实现最大性能增益？

主要发现

• 所提模型在Market-1501数据集上无需重排序即达到95.65% rank-1与87.67% mAP，优于大多数最先进方法。
• 融合所有阶段（1–4）的特征性能最佳，mAP相比单阶段特征提升超过20个百分点。
• 采用注意力模块的模型（C+S+©）在Market-1501上达到95.7% rank-1与87.7% mAP，证明混合注意力机制的有效性。
• 仅使用第3与第4阶段的特征即达到93.89% rank-1与83.43% mAP，表明即使融合范围有限，性能依然强劲。
• 激活图显示，模型在不同姿态与视角下均能持续聚焦于判别性局部区域（如衣物图案、身体部位）。
• 消融实验确认注意力模块的顺序具有重要影响，空间注意力优先、随后通道注意力的顺序表现最佳。