[论文解读] Joint Disentangling and Adaptation for Cross-Domain Person Re-Identification

Yang Zou, Xiaodong Yang+3 more|arXiv (Cornell University)|Jul 20, 2020

Video Surveillance and Tracking Methods参考文献 41被引用 19

一句话总结

本文提出了一种用于跨域行人重识别的联合解耦与自适应框架，将与身份相关的（外观）特征和与身份无关的（姿态、背景、光照）特征分离，从而仅在与身份相关空间中实现有针对性的自适应。通过协同设计一个循环一致的图像生成模块，结合对抗性对齐与在解耦外观空间中的自训练，该方法在无监督域自适应方法中实现了最先进性能，显著优于现有方法。

ABSTRACT

Although a significant progress has been witnessed in supervised person re-identification (re-id), it remains challenging to generalize re-id models to new domains due to the huge domain gaps. Recently, there has been a growing interest in using unsupervised domain adaptation to address this scalability issue. Existing methods typically conduct adaptation on the representation space that contains both id-related and id-unrelated factors, thus inevitably undermining the adaptation efficacy of id-related features. In this paper, we seek to improve adaptation by purifying the representation space to be adapted. To this end, we propose a joint learning framework that disentangles id-related/unrelated features and enforces adaptation to work on the id-related feature space exclusively. Our model involves a disentangling module that encodes cross-domain images into a shared appearance space and two separate structure spaces, and an adaptation module that performs adversarial alignment and self-training on the shared appearance space. The two modules are co-designed to be mutually beneficial. Extensive experiments demonstrate that the proposed joint learning framework outperforms the state-of-the-art methods by clear margins.

研究动机与目标

• 为解决行人重识别中的域偏移问题，即在某一领域上训练的模型在新领域上表现不佳，这是由于域间差距较大所致。
• 克服现有无监督域自适应方法的局限性，这些方法在混合特征空间中操作，导致与身份无关的因素干扰与身份相关特征的学习。
• 联合优化特征解耦与域自适应，使每个模块都能增强另一个模块的性能。
• 通过仅聚焦于解耦后的与身份相关的特征空间，实现有效的自适应，最大限度减少特定域的干扰。

提出的方法

• 一种跨域的、循环一致的图像生成框架，包含三个潜在空间：共享外观空间（与身份相关），以及独立的源域和目标域结构空间（与身份无关）。
• 解耦模块使用三个编码器将图像分解为外观码和结构码，从而实现图像重建与跨域转换。
• 自适应过程仅在共享外观空间中进行，通过对抗性对齐和利用目标域中的伪标签进行自训练实现。
• 该框架联合训练解耦与自适应模块，其中更优的解耦提升自适应性能，而更优的自适应也反过来提升解耦质量。
• 损失函数包括循环一致性损失、在合成图像上的身份分类损失，以及外观空间中用于域对齐的对抗性损失。
• 模型采用端到端训练，超参数在Market1501 → DukeMTMC上进行调优，对λ_cyc和λ_id的变化表现出鲁棒性。

实验结果

研究问题

• RQ1 解耦与身份相关和与身份无关的特征是否能提升跨域行人重识别中的无监督域自适应性能？
• RQ2 是否仅在解耦后的与身份相关的特征空间中进行自适应，相比在混合特征空间中联合自适应，能取得更好的性能？
• RQ3 是否可以通过联合优化解耦与自适应，构建一种相互促进的训练过程？
• RQ4 所提出方法在处理多样基准中较大的域间差距时，效果如何？

主要发现

• 所提方法在六个跨域行人重识别基准上实现了最先进性能，显著优于现有无监督域自适应方法。
• 消融研究显示，若移除跨域解耦或伪身份监督，图像合成质量会明显下降，证实了联合框架的必要性。
• 定性结果表明，合成图像能准确保留衣物颜色与风格，同时真实地转移背景与光照，而基线方法在前景或结构迁移方面表现失败。
• 模型对超参数变化具有鲁棒性，性能在λ_cyc ∈ [1,4]和λ_id ∈ [0.25,1]范围内保持稳定，支持选择λ_cyc=2和λ_id=0.5。
• 该方法在多种多样的域对之间具有良好的泛化能力，包括在服装风格、季节、视角和光照方面存在显著差异的场景。