[论文解读] Learning Progressive Modality-shared Transformers for Effective Visible-Infrared Person Re-identification

Hu Lu, Xuezhang Zou+1 more|arXiv (Cornell University)|Dec 1, 2022

Video Surveillance and Tracking Methods被引用 8

一句话总结

本文提出了一种新型的可见光-红外行人重识别框架——渐进式模态共享Transformer（PMT），通过引入灰度图像作为辅助模态，并采用渐进式学习策略以减小模态差异。该方法提出模态共享增强损失（MSEL）与判别中心损失（DCL），以增强可靠且共享的特征，在SYSU-MM01和RegDB数据集上实现了SOTA性能，所有搜索模式下Rank-1达到67.53%，mAP达到76.52%。

ABSTRACT

Visible-Infrared Person Re-Identification (VI-ReID) is a challenging retrieval task under complex modality changes. Existing methods usually focus on extracting discriminative visual features while ignoring the reliability and commonality of visual features between different modalities. In this paper, we propose a novel deep learning framework named Progressive Modality-shared Transformer (PMT) for effective VI-ReID. To reduce the negative effect of modality gaps, we first take the gray-scale images as an auxiliary modality and propose a progressive learning strategy. Then, we propose a Modality-Shared Enhancement Loss (MSEL) to guide the model to explore more reliable identity information from modality-shared features. Finally, to cope with the problem of large intra-class differences and small inter-class differences, we propose a Discriminative Center Loss (DCL) combined with the MSEL to further improve the discrimination of reliable features. Extensive experiments on SYSU-MM01 and RegDB datasets show that our proposed framework performs better than most state-of-the-art methods. For model reproduction, we release the source code at https://github.com/hulu88/PMT.

研究动机与目标

• 为解决行人重识别中可见光与红外图像之间存在的巨大模态差异问题。
• 通过利用可见光与红外模态之间的模态共享表征，提升特征可靠性。
• 在跨模态特征学习中减小类内方差并增强类间判别性。
• 开发一种鲁棒且可泛化的框架，在标准基准上超越现有SOTA方法。

提出的方法

• 提出一种渐进式学习策略，利用灰度图像作为辅助模态，逐步对齐可见光与红外特征。
• 提出模态共享增强损失（MSEL），显式增强跨模态共享的特征，同时减少模态特异性噪声。
• 设计判别中心损失（DCL），在模态共享特征空间中最小化类内方差并最大化类间边际。
• 采用基于Transformer的主干网络，以捕捉长距离依赖关系并提升共享空间中的特征表示能力。
• 采用双流架构并结合共享注意力机制，以促进特征对齐，同时保留模态特异性细节。
• 将MSEL与DCL结合硬三元组损失，联合优化模态不变性与判别能力。

实验结果

研究问题

• RQ1 通过灰度图像作为辅助模态监督，能否提升可见光-红外ReID中的跨模态特征对齐？
• RQ2 如何增强模态共享特征以提升其可靠性并减少模态特异性噪声？
• RQ3 在存在显著外观差异的情况下，判别中心损失能否有效减小类内方差？
• RQ4 所提出的渐进式学习策略在多样化ReID基准上的泛化能力提升程度如何？

主要发现

• 在SYSU-MM01数据集上，PMT在全搜索模式下达到67.53% Rank-1与76.52% mAP，相比之前SOTA方法在Rank-1上提升超过12%，在mAP上提升超过11%。
• 在RegDB数据集上，PMT在V到T模式下达到84.83% Rank-1与76.55% mAP，相比最佳现有方法性能提升4%。
• 在更具有挑战性的T到V模式下，PMT达到84.16% Rank-1与75.13% mAP，展现出对查询模态偏移的强鲁棒性。
• 消融实验表明，MSEL与DCL均对性能提升有显著贡献，其中MSEL提升了模态共享特征质量，DCL减小了类内方差。
• 该框架在不同CNN主干网络上均表现出良好泛化能力，表明其兼容性与有效性不仅限于单一网络架构。
• 将灰度图像作为辅助模态显著提升了特征对齐效果，尤其在大视角与光照变化条件下表现突出。