[论文解读] FPB: Feature Pyramid Branch for Person Re-Identification

Suofei Zhang, Zirui Yin+4 more|arXiv (Cornell University)|Aug 4, 2021

Video Surveillance and Tracking Methods参考文献 64被引用 9

一句话总结

本文提出了一种轻量级的特征金字塔分支（FPB），用于行人重识别，通过双向金字塔结构融合多尺度特征，增强特征表示能力。通过集成注意力模块和交叉正交性正则化，FPB在增加少于1.5M参数的情况下提升了性能，在标准基准上超越了当前最先进方法，同时保持了低模型复杂度。

ABSTRACT

High performance person Re-Identification (Re-ID) requires the model to focus on both global silhouette and local details of pedestrian. To extract such more representative features, an effective way is to exploit deep models with multiple branches. However, most multi-branch based methods implemented by duplication of part backbone structure normally lead to severe increase of computational cost. In this paper, we propose a lightweight Feature Pyramid Branch (FPB) to extract features from different layers of networks and aggregate them in a bidirectional pyramid structure. Cooperated by attention modules and our proposed cross orthogonality regularization, FPB significantly prompts the performance of backbone network by only introducing less than 1.5M extra parameters. Extensive experimental results on standard benchmark datasets demonstrate that our proposed FPB based model outperforms state-of-the-art methods with obvious margin as well as much less model complexity. FPB borrows the idea of the Feature Pyramid Network (FPN) from prevailing object detection methods. To our best knowledge, it is the first successful application of similar structure in person Re-ID tasks, which empirically proves that pyramid network as affiliated branch could be a potential structure in related feature embedding models. The source code is publicly available at https://github.com/anocodetest1/FPB.git.

研究动机与目标

• 解决行人重识别模型中高性能与低计算成本之间的平衡挑战。
• 在不增加模型复杂度的前提下，实现有效的多尺度特征提取与融合。
• 探索将特征金字塔网络（FPN）结构从目标检测迁移至行人重识别的可行性。
• 通过注意力机制和正则化提升特征多样性与判别性。
• 证明性能提升可在极小参数扩展下实现，避免依赖更大的主干网络或集成方法。

提出的方法

• FPB被设计为一种非对称的轻量级分支，附加于主干网络之上，实现多尺度特征提取。
• 采用双向金字塔结构，聚合主干网络不同阶段的特征。
• 应用自注意力模块，增强通道间相关性，并突出特征图中的判别性特征。
• 引入交叉正交性正则化（COR），以减少高层与低层特征分支之间的冗余。
• 通过将全局主干网络特征与FPB特征拼接，形成最终嵌入表示，并采用三元组损失进行端到端训练。
• 该架构兼容标准ResNet主干网络，可轻松集成至现有重识别框架中。

实验结果

研究问题

• RQ1 能否有效将目标检测中的基于金字塔的特征聚合结构适配至行人重识别？
• RQ2 引入轻量级多尺度特征分支是否能在不显著增加模型参数的情况下提升性能？
• RQ3 注意力机制与正交性正则化在多大程度上增强了行人重识别中的特征多样性与模型准确率？
• RQ4 与现有多分支或基于部件的架构相比，所提出的FPB在准确率与效率方面表现如何？
• RQ5 紧凑的非对称多分支设计是否能超越参数更多但更庞大的模型？

主要发现

• 基于FPB的模型在所有标准行人重识别基准上均达到最先进性能，额外参数少于1.5M。
• 在Market-1501、DukeMTMC-reID和CUHK03数据集上，该方法相比类似参数量的模型mAP提升超过5%。
• 该模型在参数远少于5000万的模型（如Pyramid、ABD和LocalCNN）的情况下仍表现更优。
• 消融实验表明，注意力机制与交叉正交性正则化均对性能提升有贡献，其中COR有效减少了分支间的特征冗余。
• 可视化结果表明，FPB聚焦于局部细节，而主干网络则关注全局身体部位，体现了互补的特征学习能力。
• 最优配置采用部件分支中的三个部分，其性能优于包含更多部分的配置，表明在结合全局分支时，更少的部件已足够。