[论文解读] HSGNet: Object Re-identification with Hierarchical Similarity Graph Network

Fei Shen, Mengwan Wei+1 more|arXiv (Cornell University)|Nov 10, 2022

Remote-Sensing Image Classification被引用 10

一句话总结

HSGNet 提出了一种即插即用的分层相似性图模块（HSGM），通过空间和通道相似性图建模全局-局部及局部-局部关系，提升行人重识别性能。通过动态学习节点重要性与相关性，HSGNet 在多个数据集和主干网络上实现了最先进性能，且计算开销极低。

ABSTRACT

Object re-identification method is made up of backbone network, feature aggregation, and loss function. However, most backbone networks lack a special mechanism to handle rich scale variations and mine discriminative feature representations. In this paper, we firstly design a hierarchical similarity graph module (HSGM) to reduce the conflict of backbone and re-identification networks. The designed HSGM builds a rich hierarchical graph to mine the mapping relationships between global-local and local-local. Secondly, we divide the feature map along with the spatial and channel directions in each hierarchical graph. The HSGM applies the spatial features and channel features extracted from different locations as nodes, respectively, and utilizes the similarity scores between nodes to construct spatial and channel similarity graphs. During the learning process of HSGM, we utilize a learnable parameter to re-optimize the importance of each position, as well as evaluate the correlation between different nodes. Thirdly, we develop a novel hierarchical similarity graph network (HSGNet) by embedding the HSGM in the backbone network. Furthermore, HSGM can be easily embedded into backbone networks of any depth to improve object re-identification ability. Finally, extensive experiments on three large-scale object datasets demonstrate that the proposed HSGNet is superior to state-of-the-art object re-identification approaches.

研究动机与目标

• 解决行人重识别中因尺度、姿态和外观相似性导致的类内差异问题。
• 通过引入增强判别性特征挖掘的机制，缓解主干网络与重识别任务之间的冲突。
• 开发一种即插即用模块，在无需人工标注或架构重构的情况下提升性能。
• 通过分层图结构建模内部（局部-局部）与外部（全局-局部）关系，实现有效特征学习。

提出的方法

• HSGM 将来自不同位置的空间与通道特征视为节点，构建空间和通道相似性图。
• 通过计算节点间的相似性得分，形成捕获多层级节点间关系的分层图结构。
• 可学习参数在训练过程中重新优化每个节点的重要性，实现对判别性区域的动态聚焦。
• HSGM 可嵌入任意深度的主干网络中，支持端到端训练，且参数与 FLOPs 增量极小。
• 采用多尺度采样策略（$k_1=1, k_2=2, k_3=3$），相比固定尺寸采样，能更有效地处理尺度变化。
• 分层图结构支持对局部特征及其上下文关系的联合建模，提升表征质量。

实验结果

研究问题

• RQ1 基于分层图的模块是否能在不依赖额外标注的情况下提升行人重识别的特征表征能力？
• RQ2 同时建模全局-局部与局部-局部关系对重识别性能有何影响？
• RQ3 HSGM 在不同主干网络（如 ResNet、SeNet 和 Res2Net）上的泛化能力如何？
• RQ4 多尺度节点采样是否能提升对行人重识别中尺度变化的鲁棒性？
• RQ5 将 HSGM 集成到现有模型时，性能提升与计算成本之间的权衡如何？

主要发现

• 当 HSGM 嵌入 ResNet-50 的第 4 个阶段时，HSGNet 在 Market-1501 上 Rank-1 准确率提升 1.2%，在 VeRi776 上提升 3.3%。
• 在 ResNet-50 上使用 HSGM 时，HSGM 在 VeRi776 上实现 3.0% 的 mAP 提升，在 Market-1501 上实现 1.0% 的 mAP 提升。
• HSGM 在所有测试的主干网络上均表现优异：SeNet50 mAP 提升 1.59%，Res2Net50 mAP 提升 2.24%。
• 多尺度采样策略（$k_1=1, k_2=2, k_3=3$）在所有数据集上均优于固定尺寸策略，mAP 提升 0.67% 至 1.05%。
• HSGM 的引入使参数量仅增加 4.3–4.8%，FLOPs 增加 1.13–1.37%，表明计算开销极低。
• HSGM 在不同主干网络上均具普适性，对 ResNet50、SeNet50 和 Res2Net50 均实现一致的性能增益。