[论文解读] AXM-Net: Cross-Modal Context Sharing Attention Network for Person Re-ID.

Ammarah Farooq, Muhammad Awais+2 more|arXiv (Cornell University)|Jan 19, 2021

Video Surveillance and Tracking Methods参考文献 33被引用 4

一句话总结

AXM-Net 是一种基于 CNN 的跨模态注意力网络，通过利用可学习的上下文共享注意力机制和跨模态亲和力损失，学习语义对齐的视觉与文本表征，用于行人重识别。其通过端到端训练和对局部特征的细粒度注意力机制，实现了最先进的性能，在行人搜索和跨模态 Re-ID 基准测试中显著优于先前方法。

ABSTRACT

Cross-modal person re-identification (Re-ID) is critical for modern video surveillance systems. The key challenge is to align inter-modality representations according to semantic information present for a person and ignore background information. In this work, we present AXM-Net, a novel CNN based architecture designed for learning semantically aligned visual and textual representations. The underlying building block consists of multiple streams of feature maps coming from visual and textual modalities and a novel learnable context sharing semantic alignment network. We also propose complementary intra modal attention learning mechanisms to focus on more fine-grained local details in the features along with a cross-modal affinity loss for robust feature matching. Our design is unique in its ability to implicitly learn feature alignments from data. The entire AXM-Net can be trained in an end-to-end manner. We report results on both person search and cross-modal Re-ID tasks. Extensive experimentation validates the proposed framework and demonstrates its superiority by outperforming the current state-of-the-art methods by a significant margin.

研究动机与目标

• 解决在跨模态行人重识别中对齐视觉与文本表征的挑战，同时抑制背景噪声。
• 开发一种可学习的、端到端可训练的架构，从数据中隐式学习特征对齐。
• 通过模内注意力机制聚焦细粒度局部细节，增强特征表征。
• 通过新颖的跨模态亲和力损失函数，提升跨模态匹配的鲁棒性。
• 在行人搜索和跨模态 Re-ID 任务中均实现最先进性能。

提出的方法

• 将来自视觉和文本模态的多路特征图作为网络的输入。
• 引入一种可学习的上下文共享语义对齐网络，基于共享的语义上下文动态对齐跨模态特征。
• 应用互补的模内注意力机制，突出每个模态内的判别性局部特征。
• 设计一种跨模态亲和力损失，以在联合嵌入空间中鼓励正样本对匹配并分离负样本对。
• 端到端训练整个 AXM-Net 架构，以联合优化特征对齐与表征学习。
• 利用模态特异性特征与共享上下文之间的交互，提升模态间的语义一致性。

实验结果

研究问题

• RQ1 可学习的上下文共享注意力机制是否能在无显式监督的情况下有效对齐视觉与文本特征？
• RQ2 模内注意力机制在跨模态行人重识别中如何提升局部特征的判别性？
• RQ3 与标准对比损失相比，所提出的跨模态亲和力损失在多大程度上增强了匹配的鲁棒性？
• RQ4 统一网络架构的端到端训练是否能优于流水线式或两阶段方法在跨模态 Re-ID 中的表现？
• RQ5 该模型在行人搜索和跨模态 Re-ID 基准测试中是否具有良好的泛化能力？

主要发现

• AXM-Net 在行人搜索和跨模态 Re-ID 基准测试中均实现了最先进性能，显著优于现有方法。
• 跨模态亲和力损失的集成使特征嵌入更具判别性，提升了在困难负样本上的匹配准确率。
• 模内注意力机制增强了模型聚焦相关局部特征的能力，从而改善了特征表征。
• 上下文共享注意力机制实现了隐式的、数据驱动的特征对齐，减少了对人工设计对齐策略的依赖。
• AXM-Net 的端到端训练相比分阶段训练方法展现出更优的泛化能力和鲁棒性。
• 该模型在多样化的监控场景中表现出色，表明其在模态间有效对齐了语义内容。