[论文解读] AANet: Attribute Attention Network for Person Re-Identifications

Chiat-Pin Tay, Sharmili Roy+1 more|arXiv (Cornell University)|Dec 19, 2019

Video Surveillance and Tracking Methods参考文献 24被引用 24

一句话总结

该论文提出AANet，一种新颖的行人重识别框架，通过在ResNet-50基础上将行人属性与属性注意力图整合到统一的多任务学习架构中。通过联合优化身份分类、部件检测和属性预测，并采用同方差不确定性学习，AANet在DukeMTMC-reID上实现了SOTA性能，mAP提升3.36%，Rank-1提升3.12%；在Market1501上，mAP提升1.42%，Rank-1提升0.47%（使用重排序后）。

ABSTRACT

This paper proposes Attribute Attention Network (AANet), a new architecture that integrates person attributes and attribute attention maps into a classification framework to solve the person re-identification (re-ID) problem. Many person re-ID models typically employ semantic cues such as body parts or human pose to improve the re-ID performance. Attribute information, however, is often not utilized. The proposed AANet leverages on a baseline model that uses body parts and integrates the key attribute information in an unified learning framework. The AANet consists of a global person ID task, a part detection task and a crucial attribute detection task. By estimating the class responses of individual attributes and combining them to form the attribute attention map (AAM), a very strong discriminatory representation is constructed. The proposed AANet outperforms the best state-of-the-art method arXiv:1711.09349v3 [cs.CV] using ResNet-50 by 3.36% in mAP and 3.12% in Rank-1 accuracy on DukeMTMC-reID dataset. On Market1501 dataset, AANet achieves 92.38% mAP and 95.10% Rank-1 accuracy with re-ranking, outperforming arXiv:1804.00216v1 [cs.CV], another state of the art method using ResNet-152, by 1.42% in mAP and 0.47% in Rank-1 accuracy. In addition, AANet can perform person attribute prediction (e.g., gender, hair length, clothing length etc.), and localize the attributes in the query image.

研究动机与目标

• 解决当前SOTA行人重识别模型中对行人属性利用不足的问题。
• 通过将属性信息整合到统一分类框架中，提升重识别性能。
• 实现身份、身体部件检测与属性预测的联合学习，以获得更强的特征表示能力。
• 提供基于属性的过滤机制，用于在遮挡等复杂情况下优化检索结果。
• 在相比先前工作所用更深模型的前提下，采用更简单、更浅层的主干网络（ResNet-50）实现SOTA性能。

提出的方法

• AANet采用多任务学习框架，包含三个子网络：用于身份分类的全局特征网络（GFN）、用于身体部件检测的部件特征网络（PFN）以及用于属性预测的属性特征网络（AFN）。
• AFN为每个属性（如头发、衣物颜色）生成类别感知热图，这些热图被融合为属性注意力图（AAM），以突出显示具有判别性的区域。
• 采用同方差不确定性学习方法，在训练过程中动态平衡三个任务（身份、部件、属性）的损失。
• 最终的特征表示通过使用学习到的不确定性权重，融合GFN、PFN与AFN的输出得到。
• 网络使用交叉熵损失进行身份与属性分类，同时采用部件定位损失进行身体部件检测。
• 模型支持端到端的属性预测与定位，允许在检索后通过属性匹配进行结果过滤。

实验结果

研究问题

• RQ1 将衣物颜色、头发、背包等行人属性整合到重识别框架中，是否能显著提升检索准确率？
• RQ2 联合学习身份、部件检测与属性预测，如何增强行人重识别中的特征判别能力？
• RQ3 基于不确定性的损失加权机制，统一的多任务框架是否能优于单任务或弱监督方法？
• RQ4 在存在遮挡等复杂检索场景下，预测的属性在过滤误检结果方面能发挥多大作用？
• RQ5 在相同训练协议下，使用浅层主干网络（如ResNet-50）并结合属性注意力机制，是否能超越更深的模型（如ResNet-152）？

主要发现

• 在Market1501数据集上，AANet在使用重排序后达到72.56%的mAP与86.42%的Rank-1准确率，相比先前SOTA方法（使用ResNet-152）在mAP上提升1.42%，Rank-1提升0.47%。
• 在DukeMTMC-reID数据集上，AANet使用不确定性加权损失达到70.47%的mAP与85.44%的Rank-1准确率，超越最佳现有方法3.36%（mAP）与3.12%（Rank-1）。
• 在Market1501数据集上，模型达到87.80%的平均属性准确率，优于APR [17]在所有属性类别中的表现，包括性别（92.31% vs. 86.45%）与衣物颜色（94.83% vs. 91.46%）。
• 属性注意力图（AAM）能有效突出相关身体区域（如上半身/下半身衣物、头发），其判别性优于全局身份头生成的类激活图。
• 基于属性的过滤在遮挡场景下显著提升了检索质量：例如，在某例中90%为误检结果，通过属性匹配成功过滤出错误结果，正确匹配被排在第1、19、38名等位置。
• AANet在使用更浅层的ResNet-50主干网络与更简单的训练流程下，仍实现SOTA性能，优于采用复杂数据增强与难样本挖掘技术的深层模型（如ResNet-152）。