[论文解读] Cross-modality Person re-identification with Shared-Specific Feature Transfer

Yan Lu, Yue Wu+5 more|arXiv (Cornell University)|Feb 28, 2020

Video Surveillance and Tracking Methods参考文献 51被引用 23

一句话总结

该论文提出 cm-SSFT，一种新颖的跨模态行人重识别方法，通过基于亲和力的特征迁移，联合利用模态共享与模态特定特征。通过建模模态间与模态内邻居亲和力，该方法在 RGB 与红外模态之间传播互补信息，在 SYSU-MM01 和 RegDB 上分别实现了 22.5% 和 19.3% 的 mAP 提升，达到当前最先进性能。

ABSTRACT

Cross-modality person re-identification (cm-ReID) is a challenging but key technology for intelligent video analysis. Existing works mainly focus on learning common representation by embedding different modalities into a same feature space. However, only learning the common characteristics means great information loss, lowering the upper bound of feature distinctiveness. In this paper, we tackle the above limitation by proposing a novel cross-modality shared-specific feature transfer algorithm (termed cm-SSFT) to explore the potential of both the modality-shared information and the modality-specific characteristics to boost the re-identification performance. We model the affinities of different modality samples according to the shared features and then transfer both shared and specific features among and across modalities. We also propose a complementary feature learning strategy including modality adaption, project adversarial learning and reconstruction enhancement to learn discriminative and complementary shared and specific features of each modality, respectively. The entire cm-SSFT algorithm can be trained in an end-to-end manner. We conducted comprehensive experiments to validate the superiority of the overall algorithm and the effectiveness of each component. The proposed algorithm significantly outperforms state-of-the-arts by 22.5% and 19.3% mAP on the two mainstream benchmark datasets SYSU-MM01 and RegDB, respectively.

研究动机与目标

• 解决跨模态行人重识别中模态共享特征学习的局限性，该方法会丢弃如 RGB 中的颜色或红外中的热成像等具有判别性的模态特定线索。
• 通过基于邻居的信息传播，克服生成式方法在补偿缺失模态特定特征时存在的模糊性与不稳定性。
• 开发一个端到端可训练的框架，有效融合共享与特定特征，以提升特征的判别性与鲁棒性。
• 实现在低数据量或单查询场景下的有效特征学习，此时辅助数据有限或缺失。

提出的方法

• 引入共享-特定特征迁移（SSTN）模块，基于共享特征建模模态内与模态间样本之间的亲和力，实现在模态之间与模态内部的信息传播。
• 采用 k-最近邻策略识别用于特征迁移的相关样本，确保每个样本都能从两个模态中的邻居处接收互补线索。
• 设计一种互补特征学习策略，结合模态自适应、对比生成学习与重建增强，以提取每个模态的判别性与互补性特征。
• 实现一个重建解码器，用于可视化并验证共享与特定特征的独特性，确认其互补性质。
• 通过联合损失（结合三元组损失与重建损失）端到端训练整个 cm-SSFT 框架，以提升特征表示能力。
• 通过稳定亲和力矩阵并增强查询的影响，将 SSTN 模块适配至单查询场景，即使在辅助数据极少的情况下仍能保持强大性能。

实验结果

研究问题

• RQ1 联合建模模态间与模态内亲和力是否能提升跨模态行人重识别中的特征迁移与表征能力？
• RQ2 通过基于邻居的传播方式引入模态特定特征，是否优于传统的模态共享特征学习方法？
• RQ3 互补学习策略是否能有效从共享与特定组件中提取判别性且非冗余的特征？
• RQ4 在辅助数据稀缺的低数据量或单查询真实世界场景中，所提方法的鲁棒性如何？
• RQ5 与最先进方法相比，所提出的特征迁移机制在多大程度上增强了特征的判别性？

主要发现

• 所提出的 cm-SSFT 方法在 SYSU-MM01 基准上相比最先进方法实现了 22.5% 的 mAP 提升，显著优于现有方法。
• 在 RegDB 数据集上，该方法实现了 19.3% 的 mAP 提升，证明其在多样化跨模态设置下具有强大的泛化能力。
• 在 SYSU-MM01 上，Rank-1 准确率提升了 19.2%，在 RegDB 上提升了 14.4%，证实了其更强的判别能力。
• 即使不使用数据增强，该模型仍能达到最先进性能，分别在 SYSU-MM01 和 RegDB 上实现 10.0% 和 4.3% 的 Rank-1 提升，证明其内在有效性。
• 可视化结果表明，共享特征与特定特征具有互补性：共享特征保持结构一致性，而特定特征则捕捉到模态独有的细节，如颜色或热成像模式。
• 在单查询场景中，通过稳定亲和力矩阵，该方法仍能保持强大性能，其结果即使在辅助信息有限的情况下仍优于最先进方法与基线模型。