[论文解读] IDM: An Intermediate Domain Module for Domain Adaptive Person Re-ID

Yongxing Dai, Jun Liu+4 more|arXiv (Cornell University)|Aug 5, 2021

Video Surveillance and Tracking Methods参考文献 66被引用 7

一句话总结

本文提出了一种中间域模块（IDM）用于无监督域自适应行人重识别（UDA Re-ID），通过使用可学习的域因子混合源域和目标域特征，在线生成中间域表示。通过施加桥接损失和多样性损失，IDM 确保中间域位于域之间的最短测地线路径上，在 MSMT17 上实现了 7.7% 的 mAP 提升，达到当前最先进性能。

ABSTRACT

Unsupervised domain adaptive person re-identification (UDA re-ID) aims at transferring the labeled source domain's knowledge to improve the model's discriminability on the unlabeled target domain. From a novel perspective, we argue that the bridging between the source and target domains can be utilized to tackle the UDA re-ID task, and we focus on explicitly modeling appropriate intermediate domains to characterize this bridging. Specifically, we propose an Intermediate Domain Module (IDM) to generate intermediate domains' representations on-the-fly by mixing the source and target domains' hidden representations using two domain factors. Based on the "shortest geodesic path" definition, i.e., the intermediate domains along the shortest geodesic path between the two extreme domains can play a better bridging role, we propose two properties that these intermediate domains should satisfy. To ensure these two properties to better characterize appropriate intermediate domains, we enforce the bridge losses on intermediate domains' prediction space and feature space, and enforce a diversity loss on the two domain factors. The bridge losses aim at guiding the distribution of appropriate intermediate domains to keep the right distance to the source and target domains. The diversity loss serves as a regularization to prevent the generated intermediate domains from being over-fitting to either of the source and target domains. Our proposed method outperforms the state-of-the-arts by a large margin in all the common UDA re-ID tasks, and the mAP gain is up to 7.7% on the challenging MSMT17 benchmark. Code is available at https://github.com/SikaStar/IDM.

研究动机与目标

• 为解决无监督域自适应行人重识别（UDA Re-ID）中源域与目标域无标签重叠的领域偏移问题。
• 显式建模中间域作为源域与目标域之间的桥梁，以实现更平滑的知识迁移。
• 通过学习位于源域与目标域分布之间最短测地线路径上的表示，提升模型在无标签目标域上的判别能力。
• 通过在学习的域因子中施加多样性，防止模型过度拟合至任一极端域。

提出的方法

• IDM 模块通过使用两个可学习的域因子混合源域和目标域的隐藏特征，生成中间域表示。
• 域因子被优化，以确保中间表示在流形空间中位于源域与目标域之间的最短测地线路径上。
• 在预测空间和特征空间中均应用桥接损失，以保持与源域和目标域的适当距离。
• 在域因子上引入多样性损失，以防止其坍缩至某一极端域，促进平衡适应。
• IDM 为即插即用模块，可插入深层网络的任意隐藏层中进行联合训练。
• 该方法通过标准 Re-ID 损失以及所提出的域桥接和多样性辅助损失进行端到端训练。

实验结果

研究问题

• RQ1 显式建模中间域是否能提升无监督域自适应行人重识别中的知识迁移？
• RQ2 中间域在流形空间中应具备何种性质，才能有效连接源域与目标域？
• RQ3 如何生成并约束中间域表示，使其位于源域与目标域之间的最短测地线路径上？
• RQ4 对域因子进行多样性正则化是否能防止在适应过程中过度拟合至源域或目标域？
• RQ5 在线生成中间域是否能在多个 UDA Re-ID 基准上带来一致的性能提升？

主要发现

• 在合成到真实域的 UDA Re-ID 设定下，IDM 在具有挑战性的 MSMT17 基准上相比之前最先进方法实现了 7.7% 的 mAP 提升。
• 在 PersonX-to-Market-1501 基准上，IDM 达到 81.3% 的 mAP，比第二好的方法（SpCL）高出 7.5 个百分点。
• 在 Unreal-to-Market-1501 设定下，IDM 达到 83.2% 的 mAP，相比之前最先进方法（JVTC+）提升了 5.0%。
• IDM 在所有评估基准上均持续优于所有基线方法，包括真实域到真实域和合成域到真实域的 UDA Re-ID 任务。
• 消融实验表明，桥接损失和多样性损失均对最优性能至关重要，任一组件的消融均导致 mAP 显著下降。
• 该方法在不同训练方案下均有效，且在多种多样的领域偏移场景中具有良好的泛化能力。