[论文解读] Exploring Modality-shared Appearance Features and Modality-invariant Relation Features for Cross-modality Person Re-Identification

Nianchang Huang, Jianan Liu+2 more|arXiv (Cornell University)|Apr 23, 2021

Video Surveillance and Tracking Methods参考文献 55被引用 5

一句话总结

本文提出了一种新颖的跨模态行人重识别方法，通过联合学习模态共享的外观特征与模态不变的关系特征，以减少跨模态和模态内差异。通过引入多级双流模态共享特征提取（MTMFE）网络和跨模态四元组损失，该模型在SYSU-MM01和RegDB基准上实现了最先进性能，在单次和多次设置下均显著优于先前方法。

ABSTRACT

Most existing cross-modality person re-identification works rely on discriminative modality-shared features for reducing cross-modality variations and intra-modality variations. Despite some initial success, such modality-shared appearance features cannot capture enough modality-invariant discriminative information due to a massive discrepancy between RGB and infrared images. To address this issue, on the top of appearance features, we further capture the modality-invariant relations among different person parts (referred to as modality-invariant relation features), which are the complement to those modality-shared appearance features and help to identify persons with similar appearances but different body shapes. To this end, a Multi-level Two-streamed Modality-shared Feature Extraction (MTMFE) sub-network is designed, where the modality-shared appearance features and modality-invariant relation features are first extracted in a shared 2D feature space and a shared 3D feature space, respectively. The two features are then fused into the final modality-shared features such that both cross-modality variations and intra-modality variations can be reduced. Besides, a novel cross-modality quadruplet loss is proposed to further reduce the cross-modality variations. Experimental results on several benchmark datasets demonstrate that our proposed method exceeds state-of-the-art algorithms by a noticeable margin.

研究动机与目标

• 为解决现有跨模态行人Re-ID方法仅依赖模态共享外观特征的局限性，这些方法因RGB-IR模态差异过大而难以捕获足够的判别性信息。
• 减少跨模态差异（由RGB与IR成像差异引起）和模态内差异（由姿态、视角和遮挡变化引起）。
• 通过引入模态不变的关系特征，捕获在不同模态间保持不变的结构化身体部位关系，以增强判别能力。
• 通过引入一种新型跨模态四元组损失，强化模态间正负样本对的边界约束，从而在训练过程中提升特征判别性。
• 通过有效融合模态共享外观特征与模态不变关系特征，在基准数据集上实现最先进性能。

提出的方法

• 设计了一个多级双流模态共享特征提取（MTMFE）子网络，用于在二维共享特征空间中提取模态共享外观特征，在三维共享特征空间中提取模态不变关系特征。
• 二维特征空间通过共享卷积层从RGB和IR图像中捕获判别性外观特征，而三维空间则用于建模跨模态间身体部位之间的空间关系。
• 模态不变关系特征源自关键身体部位之间的相对距离（如头-肩、肩-肘、髋-膝、膝-脚），这些距离在RGB和IR图像中保持一致。
• 将两种特征——外观特征与关系特征——融合为最终的模态共享表示，以联合减少跨模态和模态内差异。
• 引入一种新型跨模态四元组损失，以在模态间正负样本对之间施加更大的边界约束，提升训练过程中的特征判别性。
• 通过三元组损失与所提出的跨模态四元组损失的联合损失进行端到端训练，并可视化特征图以确认模型注意力集中在相关身体部位。

Figure 1: Examples of cross-modality person Re-ID. (a) Query of IR images. (b) and (c) Matched RGB images corresponding to (a). (d) Query of RGB images. (e) and (f) Matched IR images corresponding to (d). Images marked by green boxes denote the right matches, while those marked by red boxes denote t

实验结果

研究问题

• RQ1 通过相对身体部位距离提取的模态不变关系特征，与模态共享外观特征结合后，是否能提升行人重识别性能？
• RQ2 在共享空间中融合二维外观特征与三维关系特征，是否能比仅使用外观特征带来更好的跨模态泛化能力？
• RQ3 新型跨模态四元组损失是否能进一步减少跨模态差异，并在判别性方面超越标准三元组损失？
• RQ4 在基准数据集上，该方法在不同搜索模式（如全集搜索、室内搜索）下的准确率与鲁棒性，相较于最先进模型表现如何？
• RQ5 模态不变关系特征在区分外观相似但体型不同的行人时，其帮助程度如何，特别是在RGB与IR模态之间？

主要发现

• 在SYSU-MM01数据集上，所提方法在单次设置下达到88.7%的Rank-1准确率和76.4%的mAP，分别优于之前SOTA方法3.07%和2.11%。
• 在SYSU-MM01的多张图设置下，模型达到92.1%的Rank-1准确率和81.3%的mAP，表现出对现有方法的一致性优势。
• 在SYSU-MM01的室内搜索模式下，模型表现最佳，表明其在复杂环境中的强鲁棒性。
• 在RegDB数据集上，模型在可见光到热成像模式下达到84.2%的mAP，在热成像到可见光模式下达到83.9%的mAP，表现出双向性能的均衡与优越。
• 消融实验表明，将模态共享外观特征与模态不变关系特征结合可获得最佳性能，优于仅使用任一特征类型的模型。
• 所提出的跨模态四元组损失显著提升性能，证明其通过更强的优化约束有效减少了跨模态差异。

Figure 2: Illustrations of modality-invariant relations of different human body parts. (a) and (b) The RGB and IR images of a person. (c) and (d) The RGB and IR images of another person. The yellow lines mean the ratios of the distance of the head to the shoulder with that of the shoulder to the elb