[论文解读] Hetero-Center Loss for Cross-Modality Person Re-Identification

Yuanxin Zhu, Zhao Yang+4 more|arXiv (Cornell University)|Oct 22, 2019

Video Surveillance and Tracking Methods参考文献 42被引用 10

一句话总结

本文提出了一种新型损失函数——异质中心损失（Hetero-Center Loss, HC loss），通过最小化RGB与红外模态之间同一类别特征的类内差异，提升了跨模态行人重识别性能。通过与交叉熵损失联合优化，HC loss增强了类间判别能力，并提升了类内跨模态相似性，在标准基准上实现了最先进性能。

ABSTRACT

Cross-modality person re-identification is a challenging problem which retrieves a given pedestrian image in RGB modality among all the gallery images in infrared modality. The task can address the limitation of RGB-based person Re-ID in dark environments. Existing researches mainly focus on enlarging inter-class differences of feature to solve the problem. However, few studies investigate improving intra-class cross-modality similarity, which is important for this issue. In this paper, we propose a novel loss function, called Hetero-Center loss (HC loss) to reduce the intra-class cross-modality variations. Specifically, HC loss can supervise the network learning the cross-modality invariant information by constraining the intra-class center distance between two heterogenous modalities. With the joint supervision of Cross-Entropy (CE) loss and HC loss, the network is trained to achieve two vital objectives, inter-class discrepancy and intra-class cross-modality similarity as much as possible. Besides, we propose a simple and high-performance network architecture to learn local feature representations for cross-modality person re-identification, which can be a baseline for future research. Extensive experiments indicate the effectiveness of the proposed methods, which outperform state-of-the-art methods by a wide margin.

研究动机与目标

• 为解决跨模态行人重识别的挑战，即在存在域偏移的情况下，匹配同一人的RGB与红外图像。
• 减少现有方法中尚未充分探索的类内跨模态特征差异。
• 在保持类间判别能力的同时，提升同一人不同模态之间的特征相似性。
• 提出一种简单但高效的深度神经网络架构，用于学习局部跨模态不变特征。

提出的方法

• HC loss旨在最小化同一身份在RGB与红外模态之间的中心嵌入距离。
• 该损失函数显式约束异质模态之间类内中心的距离，以促进跨模态不变性。
• 通过联合优化交叉熵损失与HC loss，平衡类间分离与类内对齐。
• 引入一种轻量化、高性能的主干网络，用于提取用于跨模态匹配的局部判别性特征。
• 每个身份的特征中心在各模态下分别计算，并用作HC loss中的监督目标。
• 该方法利用模态特定的特征表示，同时通过基于中心的约束实现对齐。

实验结果

研究问题

• RQ1 最小化类内跨模态特征差异是否能提升行人重识别性能？
• RQ2 基于中心的损失函数在对齐同一身份的RGB与红外嵌入方面效果如何？
• RQ3 与仅使用交叉熵损失相比，联合优化交叉熵损失与HC loss是否能带来更好的泛化性能？
• RQ4 仅使用HC loss的简单网络架构是否能在跨模态Re-ID任务中超越复杂的SOTA模型？

主要发现

• 所提出的异质中心损失在标准基准上显著提升了跨模态行人重识别的准确率。
• 该方法在SYSU-Market100V与RegDB数据集上均达到最先进性能，优于先前的SOTA方法。
• 与交叉熵损失联合训练HC loss能带来更好的类间判别能力与类内对齐效果。
• 消融实验验证了HC loss能有效减少类内跨模态差异。
• 所提出的网络架构为未来跨模态Re-ID研究提供了强有力的基线。