[论文解读] Deep Attention Aware Feature Learning for Person Re-Identification

Yifan Chen, Han Wang+3 more|arXiv (Cornell University)|Mar 1, 2020

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种轻量级、结构无关的注意力机制，用于行人重识别（person re-identification），通过在训练过程中添加整体注意力分支（HAB）和部分注意力分支（PAB），而无需修改主干网络。该方法通过通道级解耦，聚焦于行人（HAB）和身体部位（PAB），增强了特征的判别能力，在不增加推理时间或模型大小的情况下实现了最先进性能。

ABSTRACT

Visual attention has proven to be effective in improving the performance of person re-identification. Most existing methods apply visual attention heuristically by learning an additional attention map to re-weight the feature maps for person re-identification. However, this kind of methods inevitably increase the model complexity and inference time. In this paper, we propose to incorporate the attention learning as additional objectives in a person ReID network without changing the original structure, thus maintain the same inference time and model size. Two kinds of attentions have been considered to make the learned feature maps being aware of the person and related body parts respectively. Globally, a holistic attention branch (HAB) makes the feature maps obtained by backbone focus on persons so as to alleviate the influence of background. Locally, a partial attention branch (PAB) makes the extracted features be decoupled into several groups and be separately responsible for different body parts (i.e., keypoints), thus increasing the robustness to pose variation and partial occlusion. These two kinds of attentions are universal and can be incorporated into existing ReID networks. We have tested its performance on two typical networks (TriNet and Bag of Tricks) and observed significant performance improvement on five widely used datasets.

研究动机与目标

• 通过引入注意力机制，在不增加模型复杂度或推理时间的前提下，提升行人重识别性能。
• 通过特征图中的隐式注意力学习，解决背景杂乱、姿态变化和部分遮挡等挑战。
• 通过训练阶段的额外监督实现注意力学习，而非增加额外的网络分支或层。
• 探索通道级注意力作为解耦不同身体部位特征的手段，提升对遮挡和姿态变化的鲁棒性。
• 在不修改网络架构的前提下，验证该方法在不同主干网络和基准上的泛化能力。

提出的方法

• 引入整体注意力分支（HAB），通过预测行人掩码来监督主干网络关注行人，减少背景干扰。
• 提出部分注意力分支（PAB），使用共享的转置卷积解码器来预测关键点热力图，强制实现不同身体部位的通道级特征解耦。
• 在PAB中使用共享权重的转置卷积层，确保解码器不对任何特定身体部位产生偏置，从而保持每组通道的注意力特异性。
• 使用1x1卷积层对特征通道进行分组，并将其分配给特定身体部位，消融实验表明，输出注意力模式主要由特征图决定，而非1x1卷积层。
• 在训练过程中联合优化HAB和PAB与基础ReID网络，仅通过额外的监督信号，不进行架构修改。
• 将该方法应用于现有ReID网络（如TriNet、Bag of Tricks），不修改其结构，保持原始推理速度和模型大小。

实验结果

研究问题

• RQ1 是否可以在不增加额外网络参数或推理时间的前提下，有效嵌入注意力机制于ReID特征学习中？
• RQ2 联合优化整体与部分注意力分支在多大程度上提升了对背景杂乱和姿态变化的鲁棒性？
• RQ3 通过PAB实现的通道级特征解耦，在部分遮挡条件下对提升判别能力有多大作用？
• RQ4 在PAB中使用共享解码器是否比为每个身体部位使用独立解码器更能保持注意力特异性？
• RQ5 1x1卷积层混洗实验如何验证特征图与1x1卷积层在注意力学习中的作用？

主要发现

• 所提方法在五个广泛使用的ReID基准上实现了最先进性能，包括Market-1501和DukeMTMC-reID，mAP和Rank-1准确率均获得提升。
• 在Market-1501上，当与Bag of Tricks主干网络结合时，该方法达到85.87%的mAP和96.12%的Rank-1准确率，优于以往方法。
• 在PAB中使用共享解码器相比独立解码器表现更优，关键点预测mAP提升+3.83%，部件图像预测mAP提升+2.74%。
• 1x1卷积层混洗实验确认，注意力模式主要由输入特征图决定，而非1x1卷积层，验证了有效的通道级解耦。
• 消融实验表明，HAB和PAB均贡献显著：HAB减少背景干扰，PAB提升对遮挡和姿态变化的鲁棒性。
• 该方法保持与原始网络相同的推理时间和模型大小，证明其适用于实时部署。