[论文解读] Domain Adaptive Attention Learning for Unsupervised Person Re-Identification

Yangru Huang, Peixi Peng+4 more|arXiv (Cornell University)|May 25, 2019

Video Surveillance and Tracking Methods参考文献 48被引用 31

一句话总结

本文提出了一种用于无监督跨域行人重识别的领域自适应注意力模型（DAAM），通过将特征图分离为领域共享（DSH）和领域特定（DSP）组件，实现从带标签的源域到无标签目标域的有效知识迁移。该方法基于一类分类的新型领域相似性损失，结合弱监督学习的加权交叉熵损失，在Market-1501和DukeMTMC-reID基准上实现了最先进性能。

ABSTRACT

Person re-identification (Re-ID) across multiple datasets is a challenging task due to two main reasons: the presence of large cross-dataset distinctions and the absence of annotated target instances. To address these two issues, this paper proposes a domain adaptive attention learning approach to reliably transfer discriminative representation from the labeled source domain to the unlabeled target domain. In this approach, a domain adaptive attention model is learned to separate the feature map into domain-shared part and domain-specific part. In this manner, the domain-shared part is used to capture transferable cues that can compensate cross-dataset distinctions and give positive contributions to the target task, while the domain-specific part aims to model the noisy information to avoid the negative transfer caused by domain diversity. A soft label loss is further employed to take full use of unlabeled target data by estimating pseudo labels. Extensive experiments on the Market-1501, DukeMTMC-reID and MSMT17 benchmarks demonstrate the proposed approach outperforms the state-of-the-arts.

研究动机与目标

• 解决在光照、背景和图像质量不同的数据集之间行人重识别中的领域偏移问题。
• 在无需目标域标注数据的情况下，实现从带标签源域到无标签目标域的有效知识迁移。
• 通过显式建模领域特定特征与可迁移的领域共享特征，减少因领域差异导致的负迁移。
• 通过利用基于聚类的伪标签和加权交叉熵损失进行弱监督学习，提升无监督跨域重识别性能。

提出的方法

• 提出一种新颖的领域自适应注意力模型（DAAM），利用残差注意力机制将特征图分解为领域共享（DSH）和领域特定（DSP）组件。
• DSH分支通过将源域和目标域的特征投影到共享的名义域中，学习判别性表示，以最小化领域差异。
• 提出一种基于一类分类的领域相似性损失，用于对齐跨域的DSH特征，促进领域不变表示学习。
• 对无标签目标数据应用加权交叉熵损失，使用聚类生成的伪标签，样本权重反映对伪标签的置信度。
• DSP分支通过领域特定损失和正交性约束学习领域特定特征，确保DSH与DSP特征互补且可分。
• 通过联合优化Re-ID损失、领域相似性损失和正交性损失，端到端训练完整模型，实现在领域偏移下的鲁棒迁移。

实验结果

研究问题

• RQ1 统一的深度学习框架能否有效分离领域共享与领域特定特征，从而提升无监督跨域行人重识别性能？
• RQ2 在不依赖目标域标注数据的情况下，如何缓解领域差异？
• RQ3 基于聚类的伪标签与加权交叉熵损失在无监督Re-ID中能将性能提升多少？
• RQ4 将领域特定特征建模为残差组件是否能防止负迁移并提升DSH特征质量？
• RQ5 该方法对超参数（如聚类数量和训练迭代次数）的变化有多强的鲁棒性？

主要发现

• 当在Market-1501上训练并在DukeMTMC-reID上测试时，该方法达到53.1%的mAP和77.8%的Rank-1，优于先前最先进方法。
• 在Market-1501基准上，当从DukeMTMC-reID迁移时，该方法达到48.8%的mAP和71.3%的Rank-1，展现出强大的跨域泛化能力。
• 消融实验表明，若移除领域相似性损失（L^DS）或用GRL替代，性能显著下降，证实其有效性。
• 与标准交叉熵相比，对伪标签目标数据使用加权交叉熵损失可将性能提升12.5%，凸显置信度感知学习的重要性。
• 模型在伪标签优化进行5轮迭代后收敛，最优聚类数为650，且在不同K值下表现稳健。
• 可视化结果表明，DSH特征图聚焦于行人身体部位，而DSP特征图突出显示背景和领域特定噪声，验证了模型的解耦能力。