[论文解读] Disentanglement-based Cross-Domain Feature Augmentation for Effective Unsupervised Domain Adaptive Person Re-identification

Zhizheng Zhang, Cuiling Lan+5 more|arXiv (Cornell University)|Mar 25, 2021

Video Surveillance and Tracking Methods参考文献 41被引用 4

一句话总结

本文提出了一种基于解耦的跨域特征增强方法（DCDFA），这是一种新颖的无监督域自适应行人重识别方法，通过将特征解耦为域不变（身份保持）和域特定两部分，再进行跨域特征重组，以生成多样化且可靠的增强训练样本。DCDFA 在不增加推理成本的前提下，实现了最先进的性能，提升了模型的鲁棒性身份泛化能力与分布逼近效果。

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (ReID) aims to transfer the knowledge from the labeled source domain to the unlabeled target domain for person matching. One challenge is how to generate target domain samples with reliable labels for training. To address this problem, we propose a Disentanglement-based Cross-Domain Feature Augmentation (DCDFA) strategy, where the augmented features characterize well the target and source domain data distributions while inheriting reliable identity labels. Particularly, we disentangle each sample feature into a robust domain-invariant/shared feature and a domain-specific feature, and perform cross-domain feature recomposition to enhance the diversity of samples used in the training, with the constraints of cross-domain ReID loss and domain classification loss. Each recomposed feature, obtained based on the domain-invariant feature (which enables a reliable inheritance of identity) and an enhancement from a domain specific feature (which enables the approximation of real distributions), is thus an "ideal" augmentation. Extensive experimental results demonstrate the effectiveness of our method, which achieves the state-of-the-art performance.

研究动机与目标

• 为解决无监督域自适应（UDA）行人重识别中，由于源域与目标域之间存在域偏移，导致伪标签不可靠的问题。
• 为目标域生成高质量、多样化的训练样本，使其更接近真实数据分布，同时保持可靠的ID标签。
• 通过利用解耦表示与跨域特征重组，提升UDA ReID中特征的泛化能力与鲁棒性。
• 提供一种通用且高效的增强策略，兼容现有UDA方法，进一步提升性能。

提出的方法

• 将每个输入特征解耦为域不变/共享特征（保留身份信息）与域特定特征（编码域特性）。
• 通过将一个域的域不变特征与另一域的域特定特征进行组合，实现跨域特征重组，生成增强样本。
• 使用联合损失函数优化解耦与增强过程：包括用于身份一致性的跨域ReID损失，以及用于域特定特征学习的域分类损失。
• 引入可学习的注意力模块，指导通道级特征解耦，消融实验表明通道级注意力效果最佳。
• 在身份基础特征上引入正则化损失，以增强判别能力并稳定训练过程。
• 在推理阶段丢弃解耦模块，保持推理效率，训练时间增加不足5%。

实验结果

研究问题

• RQ1 解耦特征分解能否提升无监督域自适应行人重识别中伪标签样本的可靠性？
• RQ2 跨域特征重组能否生成更逼近真实数据分布、同时保持身份标签一致的增强样本？
• RQ3 通过解耦方式结合域不变与域特定特征，是否能提升UDA ReID中的泛化能力与性能表现？
• RQ4 所提出的DCDFA策略在效率与性能上相较于现有SOTA方法在UDA ReID中表现如何？

主要发现

• 在Market-1501 → DukeMTMC-reID与DukeMTMC-reID → Market-1501设置下，DCDFA均达到最先进性能，mAP分别较基线提升2.7%与1.8%。
• 在Market-1501 → MSMT17设置下，DCDFA取得27.1%的mAP，略低于SpCL（28.0%），但依然具有高度竞争力，并与自步聚类方法具有良好的互补性。
• 联合优化身份解耦损失（ℒCID）与域分类损失（ℒDomain）带来显著性能提升，证明了对两类特征分量进行显式监督的重要性。
• 消融实验确认，通道级注意力是特征解耦中最有效的机制，优于空间注意力与通道-空间联合注意力。
• 该方法引入的额外训练时间不足5%，且不增加任何推理成本，展现出极高的效率与可部署性。
• DCDFA作为通用且高效的插件式增强策略，当应用于SBase等强基线模型时，能显著提升性能。