[论文解读] Deep Miner: A Deep and Multi-branch Network which Mines Rich and Diverse Features for Person Re-identification

Abdallah Benzine, Mohamed El Amine Seddik+1 more|arXiv (Cornell University)|Feb 18, 2021

Video Surveillance and Tracking Methods参考文献 36被引用 4

一句话总结

Deep Miner 提出了一种多分支卷积神经网络架构，通过三个互补分支挖掘丰富且多样的特征，从而提升行人重识别性能：全局分支、基于局部部件的分支以及输入擦除分支（IE-branches），后者可恢复主干网络忽略的特征。通过在特征图中对高激活区域应用简单的抑制操作来擦除输入，IE-branches 迫使网络学习到新的、更具判别性的特征，在 MSMT17 上相比最先进方法实现了 6.5% 的 mAP 提升。

ABSTRACT

Most recent person re-identification approaches are based on the use of deep convolutional neural networks (CNNs). These networks, although effective in multiple tasks such as classification or object detection, tend to focus on the most discriminative part of an object rather than retrieving all its relevant features. This behavior penalizes the performance of a CNN for the re-identification task, since it should identify diverse and fine grained features. It is then essential to make the network learn a wide variety of finer characteristics in order to make the re-identification process of people effective and robust to finer changes. In this article, we introduce Deep Miner, a method that allows CNNs to "mine" richer and more diverse features about people for their re-identification. Deep Miner is specifically composed of three types of branches: a Global branch (G-branch), a Local branch (L-branch) and an Input-Erased branch (IE-branch). G-branch corresponds to the initial backbone which predicts global characteristics, while L-branch retrieves part level resolution features. The IE-branch for its part, receives partially suppressed feature maps as input thereby allowing the network to "mine" new features (those ignored by G-branch) as output. For this special purpose, a dedicated suppression procedure for identifying and removing features within a given CNN is introduced. This suppression procedure has the major benefit of being simple, while it produces a model that significantly outperforms state-of-the-art (SOTA) re-identification methods. Specifically, we conduct experiments on four standard person re-identification benchmarks and witness an absolute performance gain up to 6.5% mAP compared to SOTA.

研究动机与目标

• 为解决卷积神经网络在行人重识别任务中的局限性，即模型往往仅关注最具判别性的特征，而忽略细粒度和多样化的属性。
• 通过鼓励网络学习更广泛的特征，提升对姿态、光照和视角变化等外观差异的鲁棒性。
• 开发一种简单但高效的方法，在不增加模型复杂度或引入复杂架构的前提下增强特征多样性。
• 证明通过输入擦除分支进行特征挖掘可显著提升标准基准上的性能，尤其在低数据设置下表现突出。

提出的方法

• 该模型集成了三个分支：使用原始 CNN 主干网络提取标准全局特征的全局分支（G-branch）。
• 通过均匀划分策略提取部件级特征的局部分支（L-branch），增强细粒度表征学习能力。
• 输入擦除分支（IE-branches）接收经简单抑制过程处理后、高激活区域被抑制的特征图，迫使网络发现此前被忽略的特征。
• 抑制操作基于激活值大小选择性地移除特征，为 IE-branches 创造新的输入空间，以挖掘互补特征。
• 在 G-分支和 IE-branches 中应用注意力模块，以改善特征表征并减少背景噪声。
• 将所有分支的最终特征进行融合，用于行人重识别，从而生成更丰富、更多样化的行人嵌入表征。

实验结果

研究问题

• RQ1 包含输入擦除分支的多分支 CNN 架构是否能显著提升行人重识别中的特征多样性与表征丰富度？
• RQ2 IE-branches 中基于抑制的特征挖掘策略是否优于标准的全局或部件级特征学习方法？
• RQ3 在数据复杂度各异的多样化基准上，该方法在 mAP 和 Rank-1 准确率方面与最先进方法相比表现如何？
• RQ4 该方法在低数据或挑战性条件下（如 CUHK03 数据集样本有限）是否仍具备良好的泛化能力？
• RQ5 抑制操作的简单性是否使其无需复杂架构修改即可实现优异性能？

主要发现

• 在行人重识别中最大且最复杂的基准 MSMT17 上，Deep Miner 相比最佳 SOTA 方法实现了 6.5% 的绝对 mAP 提升。
• 在 DukeMTMC-ReID 上，Deep Miner 在标注数据集上达到 84.7% mAP，在检测数据集上达到 81.4% mAP，优于包括 SCSN 和 Pyramid 在内的 SOTA 方法。
• 在 CUHK03 上，Deep Miner 在标注划分上超越 PLR OSNet 4.2% mAP，在检测划分上超越 3.2% mAP，表明其在低数据条件下仍具强大性能。
• 尽管仅使用 ResNet-50 和简单的四条带局部分支，Deep Miner 仍优于更复杂的模型如 Pyramid（使用金字塔特征）和 MGN。
• 该模型在四个标准基准（Market1501、DukeMTMC-ReID、CUHK03 和 MSMT17）上均达到最先进 mAP 水平，且在所有数据集上均实现一致的性能提升。
• 特征可视化结果证实，IE-branches 发现了新的、相关性高的特征（如衣物图案、背包或配饰），这些特征常被全局分支所忽略。