[论文解读] Camera-Driven Representation Learning for Unsupervised Domain Adaptive Person Re-identification

Geon Lee, Sanghoon Lee+4 more|arXiv (Cornell University)|Aug 23, 2023

Video Surveillance and Tracking MethodsComputer Science被引用 3

一句话总结

本文提出了一种基于相机的课程学习（CaCL）框架，用于无监督域自适应行人重识别（reID），通过利用相机标签，逐步将模型从有标注的源域适应到无标注的目标域。该方法引入了相机多样性（CD）损失，以缓解伪标签对相机特定特征的偏差，显著提升了对相机间差异的鲁棒性，并在标准基准上实现了最先进性能。

ABSTRACT

We present a novel unsupervised domain adaption method for person re-identification (reID) that generalizes a model trained on a labeled source domain to an unlabeled target domain. We introduce a camera-driven curriculum learning (CaCL) framework that leverages camera labels of person images to transfer knowledge from source to target domains progressively. To this end, we divide target domain dataset into multiple subsets based on the camera labels, and initially train our model with a single subset (i.e., images captured by a single camera). We then gradually exploit more subsets for training, according to a curriculum sequence obtained with a camera-driven scheduling rule. The scheduler considers maximum mean discrepancies (MMD) between each subset and the source domain dataset, such that the subset closer to the source domain is exploited earlier within the curriculum. For each curriculum sequence, we generate pseudo labels of person images in a target domain to train a reID model in a supervised way. We have observed that the pseudo labels are highly biased toward cameras, suggesting that person images obtained from the same camera are likely to have the same pseudo labels, even for different IDs. To address the camera bias problem, we also introduce a camera-diversity (CD) loss encouraging person images of the same pseudo label, but captured across various cameras, to involve more for discriminative feature learning, providing person representations robust to inter-camera variations. Experimental results on standard benchmarks, including real-to-real and synthetic-to-real scenarios, demonstrate the effectiveness of our framework.

研究动机与目标

• 为解决由于源域和目标域之间相机布局差异导致的行人重识别中的域偏移问题。
• 缓解无监督域自适应过程中生成的伪标签中固有的相机偏差，即来自同一相机的图像被错误地分到同一伪ID。
• 通过基于课程学习的渐进式策略，从目标域的单个相机逐步适应到多个相机，提升判别性特征学习。
• 通过在特征学习过程中鼓励跨相机的聚类多样性，增强对相机间差异的鲁棒性。
• 在真实到真实和合成到真实等基准上，实现无监督域自适应重识别的最先进性能。

提出的方法

• 基于相机标签将目标域数据集划分为子集，作为渐进式课程学习的基础。
• 采用基于相机的调度规则，通过计算每个相机子集与源域之间的最大均值差异（MMD），选择课程序列，优先选择与源域最接近的子集。
• 模型通过迭代方式训练，从单个相机子集开始，按照MMD计算出的序列逐步引入更多子集。
• 在每个课程阶段，利用当前模型的特征进行聚类生成伪标签，从而在目标域上实现监督训练。
• 引入相机多样性（CD）损失，根据每个聚类中贡献的相机数量对损失项进行重加权，以促进聚类内的多样性。
• CD损失促使同一伪ID的特征在不同相机之间更具判别性，从而减少相机特定偏差。

实验结果

研究问题

• RQ1 基于相机标签的课程学习策略是否能提升行人重识别中的无监督域自适应性能？
• RQ2 基于目标子集与源域之间MMD的相机驱动调度策略如何影响自适应性能？
• RQ3 相机多样性（CD）损失在多大程度上减少了因相机间特征相似性导致的伪标签偏差？
• RQ4 从单相机到多相机子集的渐进式适应是否比域级适应带来更好的泛化性能？
• RQ5 CD损失与基于不确定性的加权方法（如UGID）相比，在缓解相机偏差方面表现如何？

主要发现

• 基于相机的调度器显著优于随机课程序列，表明课程设计对UDA reID至关重要。
• CD损失在所有基准上均一致提升了mAP和rank-1准确率，证实其在减少相机偏差方面的有效性。
• 在Market1501-to-MSMT17基准上，该方法实现了88.9%的mAP和92.1%的rank-1，创下新的最先进记录。
• 在MSMT17-to-Market1501基准上，该方法实现了75.4%的mAP和84.3%的rank-1，优于先前的最先进方法。
• 将CD损失与UGID加权策略结合可获得最佳性能，表明多样性与不确定性感知加权具有互补优势。
• 定性结果表明，所提方法能正确检索身份且无相机偏差，而先前方法常将同一相机但不同ID的图像混淆。