[论文解读] DEX: Domain Embedding Expansion for Generalized Person Re-identification

Eugene P.W. Ang, Shan Lin+1 more|arXiv (Cornell University)|Oct 21, 2021

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出 DEX，一种领域嵌入扩展模块，通过在训练过程中动态利用人员和领域标签增强深度特征，提升行人重识别中的领域泛化能力。DEX 在无需微调的情况下实现了对未见领域的良好泛化，优于所有大规模基准上的最先进方法，并通过 DEXLite 实现了内存受限场景下的高效训练。

ABSTRACT

In recent years, supervised Person Re-identification (Person ReID) approaches have demonstrated excellent performance. However, when these methods are applied to inputs from a different camera network, they typically suffer from significant performance degradation. Different from most domain adaptation (DA) approaches addressing this issue, we focus on developing a domain generalization (DG) Person ReID model that can be deployed without additional fine-tuning or adaptation. In this paper, we propose the Domain Embedding Expansion (DEX) module. DEX dynamically manipulates and augments deep features based on person and domain labels during training, significantly improving the generalization capability and robustness of Person ReID models to unseen domains. We also developed a light version of DEX (DEXLite), applying negative sampling techniques to scale to larger datasets and reduce memory usage for multi-branch networks. Our proposed DEX and DEXLite can be combined with many existing methods, Bag-of-Tricks (BagTricks), the Multi-Granularity Network (MGN), and Part-Based Convolutional Baseline (PCB), in a plug-and-play manner. With DEX and DEXLite, existing methods can gain significant improvements when tested on other unseen datasets, thereby demonstrating the general applicability of our method. Our solution outperforms the state-of-the-art DG Person ReID methods in all large-scale benchmarks as well as in most the small-scale benchmarks.

研究动机与目标

• 解决监督式行人重识别模型在部署到未见摄像头网络时泛化能力不足的问题。
• 开发一种无需在目标领域数据上进行微调或适应的领域泛化解决方案。
• 通过在训练过程中隐式地将特征投影到不同领域流形上，提升行人 ReID 模型对领域偏移的鲁棒性。
• 实现对大规模数据集和多分支架构的可扩展性，同时降低内存使用。
• 提供一种可即插即用的模块，兼容现有最先进模型如 MGN、PCB 和 BagTricks。

提出的方法

• DEX 在训练过程中利用人员和领域标签动态操作深度特征，生成具有领域语义的增强数据。
• 该方法通过利用标签信息引导特征空间扩展，隐式地将特征投影到不同领域流形上。
• DEX 通过实例归一化和可学习投影头增强特征解耦与领域不变性。
• DEXLite 通过负采样策略估算领域嵌入，而非完整计算，从而降低内存消耗。
• 负采样策略使 DEXLite 能够扩展至大规模数据集和多分支模型（如 MGN 和 PCB）。
• DEX 和 DEXLite 以即插即用方式集成到现有模型中，无需修改网络架构或损失函数。

实验结果

研究问题

• RQ1 基于人员和领域双重标签的深度特征增强是否能提升行人重识别在未见领域中的泛化能力？
• RQ2 DEX 在无需对目标数据进行适应或微调的情况下，是否能有效缓解领域偏移？
• RQ3 内存高效的 DEX 变体（DEXLite）是否能在保持性能的同时扩展至大规模数据集和多分支架构？
• RQ4 DEX 是否在多种最先进模型（如 MGN、PCB 和 BagTricks）上均能持续提升性能？
• RQ5 DEXLite 的最优负样本数量是多少，以在性能与计算成本之间取得平衡？

主要发现

• 使用 ResNet-50 主干网络和实例归一化的 DEX 在所有大规模基准上均优于最先进领域泛化方法：Market-1501（81.5% mAP）、DukeMTMC-reID（72.7% mAP）、MSMT17_V2（34.3% mAP）和 CUHK-NP（43.5% mAP）。
• 在 MGN 和 PCB 上应用 DEX 后，所有基准上的 mAP 提升 2.8–4.6 个百分点，表明其在不同架构上均具有稳定的增益。
• DEXLite 仅使用 2,000 个负样本即可达到与完整 DEX 相当的性能，显著降低内存使用和训练时间。
• 在小规模基准上，DEXLite 的表现接近或超过当前最先进方法，在 DukeMTMC-reID 上 mAP 提升最高达 4.6%，在 CUHK-NP 上提升 2.3%。
• 消融实验表明，当负样本数量超过 2,000 后性能趋于饱和，验证了 DEXLite 采样策略的高效性。
• DEX 和 DEXLite 作为即插即用模块具有普适性，可在不修改网络架构的前提下提升多种最先进模型的性能。