[论文解读] CMTR: Cross-modality Transformer for Visible-infrared Person Re-identification

Tengfei Liang, Yi Jin+5 more|arXiv (Cornell University)|Oct 18, 2021

Video Surveillance and Tracking Methods参考文献 23被引用 15

一句话总结

该论文提出CMTR，一种用于可见光-红外行人重识别的跨模态Transformer模型，通过可学习的模态嵌入显式建模模态特定特征，并引入一种新颖的模态感知增强（MAE）损失。通过将模态嵌入整合到Transformer输入中，并利用MAE损失优化特征分布，CMTR在SYSU-MM01和RegDB数据集上实现了最先进性能，在最具挑战性的单次拍摄设置下，SYSU-MM01数据集上的Rank-1准确率达到80.62%，mAP达到73.75%。

ABSTRACT

Visible-infrared cross-modality person re-identification is a challenging ReID task, which aims to retrieve and match the same identity's images between the heterogeneous visible and infrared modalities. Thus, the core of this task is to bridge the huge gap between these two modalities. The existing convolutional neural network-based methods mainly face the problem of insufficient perception of modalities' information, and can not learn good discriminative modality-invariant embeddings for identities, which limits their performance. To solve these problems, we propose a cross-modality transformer-based method (CMTR) for the visible-infrared person re-identification task, which can explicitly mine the information of each modality and generate better discriminative features based on it. Specifically, to capture modalities' characteristics, we design the novel modality embeddings, which are fused with token embeddings to encode modalities' information. Furthermore, to enhance representation of modality embeddings and adjust matching embeddings' distribution, we propose a modality-aware enhancement loss based on the learned modalities' information, reducing intra-class distance and enlarging inter-class distance. To our knowledge, this is the first work of applying transformer network to the cross-modality re-identification task. We implement extensive experiments on the public SYSU-MM01 and RegDB datasets, and our proposed CMTR model's performance significantly surpasses existing outstanding CNN-based methods.

研究动机与目标

• 为解决行人重识别中可见光与红外图像之间巨大的模态差异问题，该差异阻碍了有效特征学习。
• 克服基于CNN的方法在充分感知模态特定特征并学习判别性、模态无关特征方面的局限性。
• 探索Transformer架构在跨模态ReID中的潜力，通过在特征学习过程中显式建模模态信息。
• 设计一种新型损失函数，以增强模态嵌入学习，并改善嵌入空间中的类内紧凑性和类间可分性。

提出的方法

• 引入可学习的模态嵌入（ME），将其添加到Transformer输入的patch token嵌入中，以显式编码可见光和红外模态的特征。
• 将模态嵌入与patch token融合，使Transformer在自注意力计算过程中能够关注模态特定特征。
• 提出一种模态感知增强（MAE）损失，由模态感知中心损失（MAC）和模态感知ID损失（MAID）组成，通过从ME中去除模态特定知识来优化嵌入。
• 在MAE损失中引入模态移除过程，通过从嵌入中减去学习到的模态信息，蒸馏出模态无关表示。
• 在训练过程中应用MAE损失，以最小化嵌入空间中的类内距离并最大化类间距离。
• 采用双流Transformer主干网络，深层共享权重，浅层不共享权重，以保留模态特定特征和共享特征。

实验结果

研究问题

• RQ1 通过在特征学习过程中显式建模模态特征，基于Transformer的架构能否有效学习可见光-红外行人重识别中的模态无关表示？
• RQ2 与标准ViT或基于CNN的方法相比，可学习模态嵌入的集成在特征表示上带来了哪些改进？
• RQ3 模态感知增强（MAE）损失在多大程度上改善了嵌入空间中的类内紧凑性和类间可分性？
• RQ4 所提出的方法是否在SYSU-MM01和RegDB等基准数据集上优于现有的最先进CNN模型？
• RQ5 模态嵌入和MAE损失是否能帮助模型在存在巨大模态差异的情况下，更好地关注身份不变特征？

主要发现

• 在SYSU-MM01数据集的最具挑战性的单次拍摄全搜索设置下，CMTR实现了80.62%的Rank-1准确率和73.75%的mAP，显著优于先前最先进基于CNN的方法。
• 消融研究显示，仅添加模态嵌入（ME）便使Rank-1提升3.12%，mAP提升2.19%，相较于基线ViT。
• 模态感知中心损失（MAC）使Rank-1提升+2.13%，mAP提升+3.24%；模态感知ID损失（MAID）使Rank-1提升+3.13%，mAP提升+2.57%，表明二者具有互补效应。
• 联合优化使用完整MAE损失，相较于基线模型，Rank-1提升+5.18%，mAP提升+5.17%，证实其在增强特征判别力方面的有效性。
• t-SNE可视化结果表明，MAE损失使类内聚类更紧凑，类间距离更大，从而提升了泛化能力。
• Grad-CAM可视化显示，CMTR结合ME能更好地捕捉跨模态的身份不变特征（如衬衫图案），即使在红外图像中此类细节不可见。