[论文解读] HAT: Hierarchical Aggregation Transformers for Person Re-identification

Guowen Zhang, Pingping Zhang+2 more|arXiv (Cornell University)|Jul 13, 2021

Video Surveillance and Tracking Methods参考文献 60被引用 14

一句话总结

HAT 通过结合基于 CNN 的多尺度特征提取与基于 Transformer 的特征校准（TFC）模块及深度监督聚合（DSA）机制，提出了一种用于行人重识别的新型分层聚合 Transformer 模型。该方法通过多粒度监督迭代融合分层特征，并将低层细节作为高层语义的全局先验，实现了在四个大规模 Re-ID 基准上的最先进性能。

ABSTRACT

Recently, with the advance of deep Convolutional Neural Networks (CNNs), person Re-Identification (Re-ID) has witnessed great success in various applications. However, with limited receptive fields of CNNs, it is still challenging to extract discriminative representations in a global view for persons under non-overlapped cameras. Meanwhile, Transformers demonstrate strong abilities of modeling long-range dependencies for spatial and sequential data. In this work, we take advantages of both CNNs and Transformers, and propose a novel learning framework named Hierarchical Aggregation Transformer (HAT) for image-based person Re-ID with high performance. To achieve this goal, we first propose a Deeply Supervised Aggregation (DSA) to recurrently aggregate hierarchical features from CNN backbones. With multi-granularity supervisions, the DSA can enhance multi-scale features for person retrieval, which is very different from previous methods. Then, we introduce a Transformer-based Feature Calibration (TFC) to integrate low-level detail information as the global prior for high-level semantic information. The proposed TFC is inserted to each level of hierarchical features, resulting in great performance improvements. To our best knowledge, this work is the first to take advantages of both CNNs and Transformers for image-based person Re-ID. Comprehensive experiments on four large-scale Re-ID benchmarks demonstrate that our method shows better results than several state-of-the-art methods. The code is released at https://github.com/AI-Zhpp/HAT.

研究动机与目标

• 为解决在非重叠摄像头视角下 CNN 的感受野受限问题。
• 通过有效融合 CNN 主干网络的多尺度分层特征来提升特征表示能力。
• 利用 Transformer 的全局建模能力增强语义理解，同时保留低层细节。
• 设计一种与主干网络无关且在多样化 Re-ID 场景下均鲁棒的可训练框架。
• 验证多粒度监督与特征校准在提升判别性特征学习方面的有效性。

提出的方法

• 提出深度监督聚合（DSA），通过多粒度监督迭代聚合来自 CNN 主干网络的分层特征。
• 引入基于 Transformer 的特征校准（TFC）模块，将低层细节特征作为全局先验，整合到每一层的高层语义特征中。
• 采用缩放模块将多尺度特征调整为一致分辨率（H/d, W/d），以实现 TFC 中跨层级的有效交互。
• 在多个阶段应用辅助损失，以增强梯度流动、保留语义信息并提供正则化。
• 使用邻域调整（NeA）来优化局部特征表示，提升判别能力。
• 设计分层聚合流程，从浅层到深层逐步处理并优化特征表示。

实验结果

研究问题

• RQ1 如何有效聚合来自 CNN 主干网络的多尺度特征以提升行人重识别性能？
• RQ2 基于 Transformer 的机制是否能通过将低层细节作为高层语义的全局先验来增强特征表示？
• RQ3 多粒度监督对分层特征聚合中的特征学习与模型泛化能力有何影响？
• RQ4 特征分辨率的缩放如何影响 TFC 模块中跨层级特征交互的性能？
• RQ5 所提出的 HAT 框架在标准 Re-ID 基准上相较于现有最先进方法的性能提升程度如何？

主要发现

• HAT 在四个大规模 Re-ID 基准上均达到最先进性能：Market1501（mAP: 95.8%，Rank-1: 95.8%）、DukeMTMC（mAP: 81.4%，Rank-1: 90.4%）、CUHK03（mAP: 88.9%，Rank-1: 95.5%）和 MSMT1271（mAP: 84.5%，Rank-1: 93.0%）。
• 消融实验表明，若移除多尺度特征提取（MFE）的监督，mAP 下降 4.9%，Rank-1 下降 2.2%，证实了深度监督的重要性。
• 当 λ = 0.5 时，辅助损失取得最佳性能（DukeMTMC 上 mAP 为 81.4%，Rank-1 为 90.4%），优于更高或更低的 λ 值。
• 使用 d=16 的缩放优于 d=8 或 d=32，表明中等分辨率可在不引入噪声的前提下保留相关特征。
• 可视化结果表明，与基线模型相比，HAT 能捕捉到更多判别性细节（如包的图案和衣物纹理）。
• TFC 模块从浅层到深层逐步提升特征质量，平均特征图在高层显示出更强的判别性内容。