[论文解读] Invariance Matters: Exemplar Memory for Domain Adaptive Person Re-identification

Zhun Zhong, Liang Zheng+3 more|arXiv (Cornell University)|Apr 3, 2019

Video Surveillance and Tracking Methods参考文献 37被引用 55

一句话总结

本文提出 exemplar memory 以及三种目标域不变性（exemplar-、camera-、neighborhood-invariance）以提升无监督领域自适应的人体重识别（re-ID），在 Market-1501、DukeMTMC-reID、MSMT17 上达到最新水平。

ABSTRACT

This paper considers the domain adaptive person re-identification (re-ID) problem: learning a re-ID model from a labeled source domain and an unlabeled target domain. Conventional methods are mainly to reduce feature distribution gap between the source and target domains. However, these studies largely neglect the intra-domain variations in the target domain, which contain critical factors influencing the testing performance on the target domain. In this work, we comprehensively investigate into the intra-domain variations of the target domain and propose to generalize the re-ID model w.r.t three types of the underlying invariance, i.e., exemplar-invariance, camera-invariance and neighborhood-invariance. To achieve this goal, an exemplar memory is introduced to store features of the target domain and accommodate the three invariance properties. The memory allows us to enforce the invariance constraints over global training batch without significantly increasing computation cost. Experiment demonstrates that the three invariance properties and the proposed memory are indispensable towards an effective domain adaptation system. Results on three re-ID domains show that our domain adaptation accuracy outperforms the state of the art by a large margin. Code is available at: https://github.com/zhunzhong07/ECN

研究动机与目标

• 通过解决先前方法忽略的目标域内在变化来推动面向域自适应的人体 re-ID
• 提出三种不变性属性（exemplar-, camera-, neighborhood-invariance）以在目标域上实现表征的泛化
• 引入 exemplar memory 模块，对全球目标集合施加不变约束，计算开销低
• 在多个大规模数据集上展示对现有最强 UDA 方法的显著提升

提出的方法

• 使用 ResNet-50 主干，配备 4096 维全连接层（FC-4096）用于特征提取
• 在源数据上维持带有交叉熵损失的有监督分类器
• 引入 exemplar memory（键 K，值 V）存储最新的目标特征；在训练中更新 K 并进行归一化
• 通过将每个目标图像视为其自身类别并最大化与其自身 exemplar 的相似性来定义 exemplar-invariance
• 通过 CamStyle 转换的图像拉近同一身份在不同相机风格下的一致性（通过 p(i|x̂_t,i)）来实现 camera-invariance
• 通过在 memory 中对 exemplar 与其 k 个最近邻之间进行拉近（对邻居的软标签损失）来实现 neighborhood-invariance
• 将损失整合为最终目标 L = (1-λ)L_src + λL_tgt，其中 L_tgt 汇聚了 exemplar-, camera-, 和 neighborhood-invariance 损失

实验结果

研究问题

• RQ1 如何利用目标域内的类别内/领域内差异来提升人的 re-ID 的无监督域自适应？
• RQ2 exemplar-, camera-, 和 neighborhood-invariance 是否共同提升相较于以往跨域对齐方法的迁移性？
• RQ3 在训练过程中 exemplar memory 机制是否能高效地对全局目标域不变性进行强制？
• RQ4 所提出的不变性在多种 re-ID 数据集上的性能提升程度如何？

主要发现

• exemplar-invariance、camera-invariance 和 neighborhood-invariance 共同提升了跨域 re-ID 的性能，相较仅源域基线有提升
• exemplar memory 使全局目标样本关系建模成为可能，额外计算/内存开销适中（~260 MB）
• 加入 camera-invariance 可带来显著提升（例如以 Duke 为源、Market 为目标时从 63.1% 提升到 75.1% 的 rank-1）
• 当与 exemplar- 和 camera-invariance 结合使用时，neighborhood-invariance 进一步提升（如 Duke→Market 的 75.1% rank-1，使用 E+C+N）
• ECN 在 Market-1501、DukeMTMC-reID、MSMT17 上实现了最新的无监督域自适应结果，较现有方法有显著超越