[论文解读] Learning to Generalize Unseen Domains via Memory-based Multi-Source Meta-Learning for Person Re-Identification

Yuyang Zhao, Zhun Zhong+5 more|arXiv (Cornell University)|Dec 1, 2020

Video Surveillance and Tracking Methods参考文献 44被引用 14

一句话总结

该论文提出M3L，一种基于记忆的多源元学习框架，用于行人重识别（person re-identification），可提升对未见域的泛化能力。通过在训练过程中利用元学习模拟域泛化，结合非参数化记忆损失和元批量归一化，M3L在四个大规模ReID基准上实现最先进性能，显著优于现有方法，在零样本域泛化方面表现突出。

ABSTRACT

Recent advances in person re-identification (ReID) obtain impressive accuracy in the supervised and unsupervised learning settings. However, most of the existing methods need to train a new model for a new domain by accessing data. Due to public privacy, the new domain data are not always accessible, leading to a limited applicability of these methods. In this paper, we study the problem of multi-source domain generalization in ReID, which aims to learn a model that can perform well on unseen domains with only several labeled source domains. To address this problem, we propose the Memory-based Multi-Source Meta-Learning (M$^3$L) framework to train a generalizable model for unseen domains. Specifically, a meta-learning strategy is introduced to simulate the train-test process of domain generalization for learning more generalizable models. To overcome the unstable meta-optimization caused by the parametric classifier, we propose a memory-based identification loss that is non-parametric and harmonizes with meta-learning. We also present a meta batch normalization layer (MetaBN) to diversify meta-test features, further establishing the advantage of meta-learning. Experiments demonstrate that our M$^3$L can effectively enhance the generalization ability of the model for unseen domains and can outperform the state-of-the-art methods on four large-scale ReID datasets.

研究动机与目标

• 解决在目标域数据因隐私或可用性限制而不可访问时，行人重识别在未见域上的泛化挑战。
• 通过利用多个带标签的源域来提升模型泛化能力，同时避免域偏差和过拟合。
• 克服大规模ReID数据集下深度度量学习中元优化不稳定的难题，其中参数化分类器变得不切实际。
• 设计一种非参数化识别损失和一种元批量归一化层，以增强元学习的稳定性和特征多样性。
• 在多个大规模ReID数据集上实现未见域的最先进零样本泛化性能。

提出的方法

• 提出一种元学习策略，每次迭代时动态将源域划分为元训练集和元测试集，以模拟域泛化测试场景。
• 提出一种基于记忆的识别损失，替代参数化分类器，实现非参数化特征匹配，并在高类别设置下稳定元优化。
• 设计一种元批量归一化层（MetaBN），在元测试过程中自适应调整归一化统计量，以模拟域偏移并提升特征泛化能力。
• 在训练过程中最小化元训练损失，同时提升元测试准确率，以促进域不变表示学习。
• 使用记忆库存储来自元训练域的特征和身份，实现在元优化过程中的高效且稳定分类。
• 采用ResNet-50作为主干网络，并应用t-SNE可视化分析特征聚类和域无关表示学习。

实验结果

研究问题

• RQ1 在无法访问目标域数据的情况下，元学习能否有效模拟行人重识别中的域泛化测试场景？
• RQ2 在具有大量身份的大规模ReID中，非参数化记忆损失是否优于传统参数化分类器？
• RQ3 元批量归一化如何提升多源域泛化中的特征多样性与泛化能力？
• RQ4 与最先进方法相比，M3L在未见域上的零样本泛化性能提升程度如何？
• RQ5 随着源域数量和ID数量的增加，M3L的性能增益是否会进一步提升？

主要发现

• 当在DukeMTMC-reID、CUHK03和MSMT17上训练时，M3L在Market-1501上的rank-1准确率达到74.5%，比基线模型高出6.6个百分点，训练ID数为3,110个。
• 在1,000个训练ID下，M3L在Market-1501上达到63.4%的rank-1准确率，比元学习下的FC分类器高出3.8个百分点。
• 当在3,110个ID上训练时，记忆损失相比FC损失提升6.6%，证明其在高类别设置下的优越性。
• t-SNE可视化结果表明，M3L在不同域之间学习到更紧凑且更具判别性的特征聚类，尤其在未见目标域（Market-1501）中表现显著。
• 所提出的MetaBN层增强了特征多样性，并提升了泛化能力，尤其在未见域场景中表现突出。
• M3L显著降低了域偏移的影响，t-SNE图中显示同一身份的特征在不同域间聚类更加紧密。