[论文解读] Memorizing Comprehensively to Learn Adaptively: Unsupervised Cross-Domain Person Re-ID with Multi-level Memory

Xinyu Zhang, Dong Gong+2 more|arXiv (Cornell University)|Jan 13, 2020

Video Surveillance and Tracking Methods参考文献 53被引用 8

一句话总结

本文提出了一种多层级记忆网络（MMN），用于无监督跨域行人重识别，通过引入部件级、实例级和领域级记忆模块，捕捉未标注目标数据中的细粒度与全局关系。通过系统性地整合多层级监督，MMN 改进了相似性与差异性学习，在三个基准数据集上实现了最先进性能，且无需目标域的标注信息。

ABSTRACT

Unsupervised cross-domain person re-identification (Re-ID) aims to adapt the information from the labelled source domain to an unlabelled target domain. Due to the lack of supervision in the target domain, it is crucial to identify the underlying similarity-and-dissimilarity relationships among the unlabelled samples in the target domain. In order to use the whole data relationships efficiently in mini-batch training, we apply a series of memory modules to maintain an up-to-date representation of the entire dataset. Unlike the simple exemplar memory in previous works, we propose a novel multi-level memory network (MMN) to discover multi-level complementary information in the target domain, relying on three memory modules, i.e., part-level memory, instance-level memory, and domain-level memory. The proposed memory modules store multi-level representations of the target domain, which capture both the fine-grained differences between images and the global structure for the holistic target domain. The three memory modules complement each other and systematically integrate multi-level supervision from bottom to up. Experiments on three datasets demonstrate that the multi-level memory modules cooperatively boost the unsupervised cross-domain Re-ID task, and the proposed MMN achieves competitive results.

研究动机与目标

• 解决无监督跨域行人重识别中的挑战，即目标域中无身份标注。
• 克服先前方法依赖脆弱的样本级相似性或启发式聚类的局限，通过捕捉细粒度与全局数据结构。
• 通过整合多层次表征的互补监督，提升训练可靠性与模型泛化能力。
• 通过维护整个数据集的动态、实时更新的记忆表征，实现对未标注目标数据的有效利用。

提出的方法

• 引入三种互补的记忆模块：部件级记忆用于局部特征表示，实例级记忆用于完整图像特征，领域级记忆用于全局聚类原型。
• 在每个记忆模块上使用 k-最近邻搜索，检索用于监督的相关样本，相似性通过余弦距离计算，并引入可学习的温度因子。
• 在训练过程中动态更新记忆池，以反映不断演化的特征表示，并保持数据关系的实时性。
• 以分层、系统化的方式整合来自全部三个记忆层级的监督信号，以优化相似性与差异性估计。
• 在损失函数中应用温度控制的余弦相似度，以稳定训练并提升判别能力。
• 对特征嵌入进行聚类以形成领域级记忆，每个槽位代表一个聚类中心，以捕捉全局数据分布。

实验结果

研究问题

• RQ1 多层级记忆表征是否能通过捕捉细粒度与全局数据关系，提升无监督跨域行人重识别性能？
• RQ2 在无标注条件下，整合部件级、实例级与领域级记忆如何提升相似性与差异性学习的可靠性？
• RQ3 与单层级记忆或启发式聚类相比，所提出的 MMN 在相似性估计中能将误报率降低到何种程度？
• RQ4 该方法对超参数（如相似度函数中的 k 值和温度因子）的敏感性如何？

主要发现

• 所提出的 MMN 在三个标准基准数据集（Market-1501、DukeMTMC-Re-ID 和 MSMT17）上实现了最先进性能，证明了其在无监督跨域设置下的强大泛化能力。
• 在 D→M 设置（Duke 到 Market）中，MMN 达到 65.1% 的 mAP 和 86.0% 的 Rank-1 准确率，优于先前的无监督方法。
• 该方法对超参数选择具有鲁棒性：最优性能在 k=10 时实现，且在广泛温度值范围（α2 ∈ [2.0, 8.0]）内模型保持稳定。
• 定性分析表明，模型在训练过程中逐步改善邻居选择，能够正确识别同身份样本，并基于细粒度部件与全局结构线索排除误报。
• 聚类质量在训练过程中显著提升，更多样本被正确分组到有意义的伪聚类中，表明特征判别能力增强。
• 部件级与领域级记忆的整合有效纠正了实例级记忆中的错误，尤其在不同身份间外观相似性易混淆的情况下表现突出。