[论文解读] Bridging the Source-to-target Gap for Cross-domain Person Re-Identification with Intermediate Domains

Yongxing Dai, Yifan Sun+4 more|arXiv (Cornell University)|Mar 3, 2022

Video Surveillance and Tracking Methods被引用 11

一句话总结

该论文提出了一种名为IDM++的新颖跨域行人重识别方法，通过引入中间域实现更平滑的知识迁移，从而弥合源域到目标域之间的域差距。通过特征混合生成中间域，并利用镜像生成模块保留原始身份信息，IDM++在无监督域自适应设置下的MSMT17数据集上实现了新的SOTA性能，rank-1准确率最高超越先前方法9.9%。

ABSTRACT

Cross-domain person re-identification (re-ID), such as unsupervised domain adaptive (UDA) re-ID, aims to transfer the identity-discriminative knowledge from the source to the target domain. Existing methods commonly consider the source and target domains are isolated from each other, i.e., no intermediate status is modeled between both domains. Directly transferring the knowledge between two isolated domains can be very difficult, especially when the domain gap is large. From a novel perspective, we assume these two domains are not completely isolated, but can be connected through intermediate domains. Instead of directly aligning the source and target domains against each other, we propose to align the source and target domains against their intermediate domains for a smooth knowledge transfer. To discover and utilize these intermediate domains, we propose an Intermediate Domain Module (IDM) and a Mirrors Generation Module (MGM). IDM has two functions: 1) it generates multiple intermediate domains by mixing the hidden-layer features from source and target domains and 2) it dynamically reduces the domain gap between the source / target domain features and the intermediate domain features. While IDM achieves good domain alignment, it introduces a side effect, i.e., the mix-up operation may mix the identities into a new identity and lose the original identities. To compensate this, MGM is introduced by mapping the features into the IDM-generated intermediate domains without changing their original identity. It allows to focus on minimizing domain variations to promote the alignment between the source / target domain and intermediate domains, which reinforces IDM into IDM++. We extensively evaluate our method under both the UDA and domain generalization (DG) scenarios and observe that IDM++ yields consistent performance improvement for cross-domain re-ID, achieving new state of the art.

研究动机与目标

• 为解决跨域行人重识别中大型域差距的挑战，特别是在无监督域自适应（UDA）和域泛化（DG）设置下的问题。
• 克服直接进行源域到目标域对齐的局限性，尤其当域之间孤立且差异较大时。
• 通过引入作为桥梁的中间域，在源域和目标域之间建模一条连续路径。
• 在域对齐过程中保留身份信息，这在特征混合操作中常被忽略。
• 在不同主干网络和基准数据集上实现一致的性能提升，尤其在大规模、具有挑战性的数据集如MSMT17上。

提出的方法

• 提出中间域模块（IDM），通过混合源域和目标域的隐藏层特征，生成多个中间域。
• 在IDM中采用动态域差距减小机制，以最小化源/目标特征与中间域特征之间的差异。
• 引入镜像生成模块（MGM），将原始源域和目标域的身份映射到中间域，同时保持其身份标签不变。
• 使用跨域一致性损失，强制原始样本与其在中间域中由MGM生成的镜像在特征上保持相似性。
• 将IDM与MGM整合到统一框架IDM++中，实现域对齐与身份保持的相互增强。
• 在UDA和DG设置下端到端应用该方法，对标准重识别主干网络仅做最小的架构修改。

实验结果

研究问题

• RQ1 在源域与目标域之间建模中间域，是否能提升跨域行人重识别中的知识迁移效果？
• RQ2 通过中间域对齐源域与目标域，是否相比现有方法能降低直接域对齐的难度？
• RQ3 在中间域生成过程中，能否在特征混合时保留身份信息？若能，如何实现？
• RQ4 所提出的IDM++框架在无监督域自适应和域泛化场景下，与当前SOTA方法相比表现如何？
• RQ5 使用中间域在多大程度上提升了目标域中的聚类质量与特征判别能力？

主要发现

• IDM++在具有挑战性的MSMT17基准上达到了新的SOTA水平，在无监督域自适应设置下，rank-1准确率最高超越先前SOTA 9.9%。
• 在域泛化设置下，IDM++在MSMT17上的rank-1准确率最高比之前SOTA提升7.8%。
• 该方法在不同主干网络上均表现出一致的性能提升，尤其在最大且最具挑战性的MSMT17数据集上提升显著。
• IDM++生成的伪标签质量（以BCubed F-score和NMI衡量）显著高于基线方法或仅使用IDM的方法，表明标签噪声更少。
• 可视化结果证实，IDM++通过中间域有效对齐了源域与目标域的分布，且源/中间域与目标/中间域对之间的距离分布差异极小。
• MGM模块成功保留了身份判别性特征分布，表现为原始样本与其在中间域中的镜像之间特征分布高度对齐。