[论文解读] A Similarity Inference Metric for RGB-Infrared Cross-Modality Person Re-identification

Mengxi Jia, Yunpeng Zhai+3 more|arXiv (Cornell University)|Jul 3, 2020

Video Surveillance and Tracking Methods参考文献 16被引用 8

一句话总结

本文提出了一种用于RGB-红外跨模态行人重识别的相似性推理度量（SIM），通过利用同模态样本间的相似性来提升跨模态匹配性能。通过结合相似性图推理与互近邻推理，SIM在几乎不增加额外训练成本的情况下显著提升了匹配准确率，在SYSU-MM01和RegDB数据集上相较基线模型实现了20.98%的mAP提升和3.00%的rank-1准确率增益。

ABSTRACT

RGB-Infrared (IR) cross-modality person re-identification (re-ID), which aims to search an IR image in RGB gallery or vice versa, is a challenging task due to the large discrepancy between IR and RGB modalities. Existing methods address this challenge typically by aligning feature distributions or image styles across modalities, whereas the very useful similarities among gallery samples of the same modality (i.e. intra-modality sample similarities) is largely neglected. This paper presents a novel similarity inference metric (SIM) that exploits the intra-modality sample similarities to circumvent the cross-modality discrepancy targeting optimal cross-modality image matching. SIM works by successive similarity graph reasoning and mutual nearest-neighbor reasoning that mine cross-modality sample similarities by leveraging intra-modality sample similarities from two different perspectives. Extensive experiments over two cross-modality re-ID datasets (SYSU-MM01 and RegDB) show that SIM achieves significant accuracy improvement but with little extra training as compared with the state-of-the-art.

研究动机与目标

• 解决RGB与红外图像之间存在的大模态差异在行人重识别中的挑战。
• 克服现有方法仅关注跨模态对齐而忽视判别性同模态样本相似性的局限。
• 开发一种通用度量方法，通过利用可靠的同模态相似性来提升跨模态匹配性能，且无需大量微调训练。
• 在标准RGB-红外数据集上，于多种最先进重识别模型上展示一致的性能增益。

提出的方法

• 提出一种相似性推理度量（SIM），通过利用同模态内部的相似性来推断跨模态样本间的相似性。
• 引入相似性图推理（SGR），通过图最短路径建模检索集样本之间的关系，增强相似性推断能力。
• 设计互近邻推理（MNNR），通过分析图像对之间k近邻集合的重叠程度来改进相似性估计。
• 以级联方式结合SGR与MNNR，逐步优化跨模态相似性预测结果。
• 将SIM作为即插即用模块集成至现有重识别框架中，仅需少量调整，且无需在基础模型之外进行额外训练。
• 采用参数化相似性融合机制，包含尺度因子λ、限制因子K和惩罚因子α，以平衡SGR与MNNR的贡献。

实验结果

研究问题

• RQ1 同模态样本相似性是否可被有效利用以提升跨模态行人重识别性能？
• RQ2 相似性图推理与互近邻推理在单独及联合使用时，如何分别及共同增强跨模态匹配性能？
• RQ3 SIM在不重新训练的情况下，能在多大程度上泛化至不同重识别模型？
• RQ4 哪些超参数设置可使SIM在跨模态重识别基准上达到最优性能？
• RQ5 SIM是否能有效提升那些与查询样本不相似但与真实正样本相似的困难正样本的排序表现？

主要发现

• 在SYSU-MM01数据集上，SIM相较基线模型实现了mAP相对提升20.98%（达到60.88%），rank-1准确率提升3.00%（达到56.93%）。
• 在RegDB数据集上，SIM相较基线模型使mAP提升14.49%，rank-1准确率提升2.37%。
• SGR与MNNR的结合优于任一单独组件，证明二者在增强相似性推理方面具有互补性。
• SIM在不同重识别模型上表现出良好的泛化能力：应用于AlignGAN和AGW时，mAP分别提升高达22.94%和17.44%。
• 最优超参数被确定为λ = 0.01，K = 9，α = 0.3，该设置在相似性估计中实现了敏感性与判别力的平衡。
• 可视化结果表明，SIM能有效提升真实正样本的相似度得分，尤其对那些在基线中排名靠后的困难正样本，其得分被显著提高。