[论文解读] MMD-ReID: A Simple but Effective Solution for Visible-Thermal Person ReID

Chaitra Jambigi, Ruchit Rawal+1 more|ArXiv.org|Nov 9, 2021

Video Surveillance and Tracking Methods被引用 8

一句话总结

MMD-ReID 通过使用一种新颖的基于边距的最大均值差异（MMD）损失，显式地最小化可见光与热成像模态特征之间的分布差异，提出了一种简单而有效的可见光-热成像行人重识别框架。该方法在不依赖复杂架构或部件级特征的情况下，实现了最先进性能，在 SYSU-MM01 数据集上将 Rank-1 准确率提升了 5.07%，在 RegDB 数据集上提升了 4%。

ABSTRACT

Learning modality invariant features is central to the problem of Visible-Thermal cross-modal Person Reidentification (VT-ReID), where query and gallery images come from different modalities. Existing works implicitly align the modalities in pixel and feature spaces by either using adversarial learning or carefully designing feature extraction modules that heavily rely on domain knowledge. We propose a simple but effective framework, MMD-ReID, that reduces the modality gap by an explicit discrepancy reduction constraint. MMD-ReID takes inspiration from Maximum Mean Discrepancy (MMD), a widely used statistical tool for hypothesis testing that determines the distance between two distributions. MMD-ReID uses a novel margin-based formulation to match class-conditional feature distributions of visible and thermal samples to minimize intra-class distances while maintaining feature discriminability. MMD-ReID is a simple framework in terms of architecture and loss formulation. We conduct extensive experiments to demonstrate both qualitatively and quantitatively the effectiveness of MMD-ReID in aligning the marginal and class conditional distributions, thus learning both modality-independent and identity-consistent features. The proposed framework significantly outperforms the state-of-the-art methods on SYSU-MM01 and RegDB datasets. Code will be released at https://github.com/vcl-iisc/MMD-ReID

研究动机与目标

• 解决行人重识别中可见光与热成像图像之间存在的巨大模态差异问题。
• 开发一种简单而有效的方法，显式减少可见光与热成像特征空间之间的分布差异。
• 在不依赖对抗训练或复杂架构模块的情况下，提升模态不变性和身份一致性特征学习。
• 在多个最先进基线模型和数据集上展示泛化能力。
• 为现有复杂方法提供一种计算效率更高的替代方案，训练开销极低。

提出的方法

• 该框架采用双流 Siamese 网络架构，从可见光和热成像图像中提取全局特征。
• 提出一种新颖的边距 MMD-ID 损失，显式最小化可见光与热成像样本的类别条件特征分布之间的差异。
• 损失函数基于最大均值差异（MMD），一种用于度量分布距离的统计工具，并引入边距约束以防止过拟合和特征退化。
• 该方法仅基于全局特征，避免了对部件级或注意力机制模块的需求。
• 与标准 ReID 损失函数（如交叉熵和三元组损失）兼容，可轻松集成到现有基线模型中。
• 训练过程中引入一个边距超参数（ρ），用于控制类内与类间分布之间的分离程度，从而增强特征的可分性。

实验结果

研究问题

• RQ1 通过 MMD 显式减少分布差异，能否提升跨模态行人重识别性能？
• RQ2 与标准 MMD 相比，基于边距的 MMD 构造是否能更有效地缓解 VT-ReID 中的过拟合和特征退化问题？
• RQ3 基于简单全局特征的方法能否在 VT-ReID 中超越包含部件级或注意力机制模块的复杂架构？
• RQ4 MMD-ReID 在标准基准数据集上对不同最先进 ReID 基线模型的泛化能力如何？
• RQ5 与标准三元组损失和交叉熵损失相比，所提出的边距 MMD-ID 损失的计算成本和训练效率如何？

主要发现

• 在 SYSU-MM01 数据集上，MMD-ReID 达到了 88.4% 的 Rank-1 准确率，比之前的最先进方法高出 5.07%。
• 在 RegDB 数据集上，MMD-ReID 达到了 78.6% 的 Rank-1 准确率，较之前 SOTA 提升了 4%。
• T-SNE 可视化显示，MMD-ReID 有效拉近了同一身份的可见光与热成像特征在特征空间中的距离，形成了紧凑且重叠的聚类。
• 当集成到三种不同最先进基线模型（AGW、DGTL 和 HcTri）中时，该方法仍保持了优异的性能，证明了其强大的泛化能力。
• 训练时间仅略微增加约 1 小时，相较于标准交叉熵损失以及交叉熵 + Hc-Tri 基线，表明计算开销极低。
• 消融实验确认，与标准 MMD-ID 相比，基于边距的 MMD-ID 损失在防止特征退化和提升泛化能力方面更为有效。