[论文解读] NFormer: Robust Person Re-identification with Neighbor Transformer

Haochen Wang, Jiayi Shen+3 more|UvA-DARE (University of Amsterdam)|Apr 20, 2022

Video Surveillance and Tracking Methods被引用 15

一句话总结

NFormer 提出了一种邻居 Transformer 网络，在训练和推理过程中均对所有输入图像建模跨图像关系，以抑制异常特征并提升行人重识别的鲁棒性。通过引入用于高效亲和力计算的地标代理注意力机制（Landmark Agent Attention）以及仅关注相互关联邻居的稀疏相关注意力机制（Reciprocal Neighbor Softmax），NFormer 在四个大规模 Re-ID 数据集上实现了最先进性能，mAP 相较于先前方法最高提升 4.4%。

ABSTRACT

Person re-identification aims to retrieve persons in highly varying settings across different cameras and scenarios, in which robust and discriminative representation learning is crucial. Most research considers learning representations from single images, ignoring any potential interactions between them. However, due to the high intra-identity variations, ignoring such interactions typically leads to outlier features. To tackle this issue, we propose a Neighbor Transformer Network, or NFormer, which explicitly models interactions across all input images, thus suppressing outlier features and leading to more robust representations overall. As modelling interactions between enormous amount of images is a massive task with lots of distractors, NFormer introduces two novel modules, the Landmark Agent Attention, and the Reciprocal Neighbor Softmax. Specifically, the Landmark Agent Attention efficiently models the relation map between images by a low-rank factorization with a few landmarks in feature space. Moreover, the Reciprocal Neighbor Softmax achieves sparse attention to relevant -- rather than all -- neighbors only, which alleviates interference of irrelevant representations and further relieves the computational burden. In experiments on four large-scale datasets, NFormer achieves a new state-of-the-art. The code is released at \url{https://github.com/haochenheheda/NFormer}.

研究动机与目标

• 解决由于遮挡、视角变化和服装差异导致的行人重识别中身份内高变异性问题。
• 克服现有方法仅在小批量训练中建模关系或完全忽略图像间交互的局限性。
• 通过在训练和推理过程中显式建模所有输入图像之间的关系，实现鲁棒的表示学习。
• 通过高效近似全亲和力矩阵并聚焦于相关邻居，降低大规模 Re-ID 中的计算成本。
• 开发一种即插即用模块，无需架构重构即可增强现有 Re-ID 模型。

提出的方法

• 提出地标代理注意力（Landmark Agent Attention, LAA），通过在特征空间中使用少量地标代理对全亲和力矩阵进行分解，将复杂度从二次方降低为与地标数量成线性关系。
• 采用互惠邻居 Softmax（Reciprocal Neighbor Softmax, RNS），仅在相互关联的邻居之间施加稀疏注意力，从而最小化无关表征带来的干扰。
• 利用自注意力机制结合低秩分解，构建所有输入图像表征之间的全局关系图。
• 在关系建模与聚合后，应用全局平均池化提取最终特征。
• 采用双分支架构，通过基于学习到的亲和力在邻居图像之间进行迭代消息传递，对特征进行优化。
• 实现端到端训练与推理，确保所有图像之间实现完整交互，弥合训练与测试阶段行为的差距。

实验结果

研究问题

• RQ1 在训练和推理过程中对所有输入图像建模图像间关系，是否能提升行人重识别的鲁棒性？
• RQ2 如何在不损失表征质量的前提下，降低全成对亲和力建模的计算成本？
• RQ3 仅聚焦于相关邻居的稀疏注意力是否能提升特征判别能力并减少噪声？
• RQ4 所提方法在具有不同身份内图像数量的多样化 Re-ID 基准上是否具备良好的泛化能力？
• RQ5 NFormer 在多大程度上可与现有最先进模型集成以进一步提升性能？

主要发现

• 在 Market-1501 数据集上，NFormer 与 ResNet-50 结合后达到 94.7% 的 mAP 和 91.1% 的 top-1 准确率，创下新最先进水平。
• 在 DukeMTMC-reID 数据集上，使用 ResNet-50 时，NFormer 相较于第二好的方法 ISP，mAP 提升 3.5 个百分点。
• 在 MSMT17 数据集上，使用 ResNet-50 时，NFormer 达到 83.5% 的 mAP，较第二好的方法 RGA-SC 提升 2.3 个百分点。
• 在 CUHK03 数据集上，使用 ResNet-50 时，NFormer 在人工标注集上 mAP 提升 4.2%，在检测集上提升 3.5%。
• 与 ABDNet 结合后，NFormer 在 Market-1501 上达到 95.7% 的 mAP，mAP 超过第二好的方法 1.9 个百分点，top-1 准确率提升 1.0 个百分点。
• 消融实验表明，NFormer 的性能增益在每个身份平均图像数更高的数据集中最为显著，表明其对邻居信息的利用能力更强。