[论文解读] Dual-Refinement: Joint Label and Feature Refinement for Unsupervised Domain Adaptive Person Re-Identification

Yongxing Dai, Jun Liu+3 more|arXiv (Cornell University)|Dec 26, 2020

Video Surveillance and Tracking Methods参考文献 102被引用 102

一句话总结

本文提出了一种名为 Dual-Refinement 的新型无监督域自适应方法，用于行人重识别（person re-identification），该方法在离线聚类阶段联合优化伪标签，在在线训练阶段联合优化特征表示。通过引入基于代表性原型的分层聚类方法以及即时记忆展散正则化（instant memory spread-out regularization），该方法有效降低了噪声伪标签的影响，提升了特征的可分性，在标准基准上实现了最先进性能，且计算开销极低。

ABSTRACT

Unsupervised domain adaptive (UDA) person re-identification (re-ID) is a challenging task due to the missing of labels for the target domain data. To handle this problem, some recent works adopt clustering algorithms to off-line generate pseudo labels, which can then be used as the supervision signal for on-line feature learning in the target domain. However, the off-line generated labels often contain lots of noise that significantly hinders the discriminability of the on-line learned features, and thus limits the final UDA re-ID performance. To this end, we propose a novel approach, called Dual-Refinement, that jointly refines pseudo labels at the off-line clustering phase and features at the on-line training phase, to alternatively boost the label purity and feature discriminability in the target domain for more reliable re-ID. Specifically, at the off-line phase, a new hierarchical clustering scheme is proposed, which selects representative prototypes for every coarse cluster. Thus, labels can be effectively refined by using the inherent hierarchical information of person images. Besides, at the on-line phase, we propose an instant memory spread-out (IM-spread-out) regularization, that takes advantage of the proposed instant memory bank to store sample features of the entire dataset and enable spread-out feature learning over the entire training data instantly. Our Dual-Refinement method reduces the influence of noisy labels and refines the learned features within the alternative training process. Experiments demonstrate that our method outperforms the state-of-the-art methods by a large margin.

研究动机与目标

• 解决无监督域自适应行人重识别（UDA-ReID）中因类内方差过高导致离线聚类生成不可靠伪标签的问题。
• 通过缓解在线训练过程中噪声伪标签的负面影响，提升目标域特征的可分性。
• 设计一种双阶段优化框架，通过交替优化伪标签与特征表示，打破标签质量与特征学习之间错误传播的反馈循环。
• 通过引入高效的即时记忆库实现全局特征展散正则化，在保持高性能的同时降低计算成本。

提出的方法

• 提出一种两阶段分层聚类方案：首先对目标域特征进行粗粒度聚类，然后在每个粗粒度聚类内部进行细粒度聚类，以识别代表性原型。
• 将细粒度聚类的质心作为每个粗粒度聚类的代表性原型，从而实现样本与聚类之间的全局、鲁棒相似性计算，而非依赖于局部邻域相似性。
• 引入一种即时记忆展散（IM-spread-out）正则化方法，利用存储所有目标域特征的即时记忆库，在在线训练过程中强制实现全数据集范围的特征展散。
• 将 IM-spread-out 损失形式化为对比正则化，鼓励将困难的噪声样本从决策边界处推开，同时保持类别一致性。
• 在交替训练循环中结合基于分层聚类的伪标签优化与 IM-spread-out 正则化，实现伪标签纯净度与特征可分性的联合优化。
• 设计一种损失函数，通过可学习权重 α 平衡在粗粒度与细粒度伪标签下的度量学习，并将 IM-spread-out 正则化与可学习权重 µ 融合。

实验结果

研究问题

• RQ1 如何通过利用目标域数据中的分层结构来提升 UDA-ReID 中离线伪标签的可靠性？
• RQ2 通过全局特征正则化缓解噪声伪标签影响后，线上特征学习能提升到何种程度？
• RQ3 即时记忆库是否能够实现高效、低成本的全局特征展散正则化，而不会带来显著计算开销？
• RQ4 超参数如细粒度聚类数量和展散正则化损失权重如何影响最终性能？

主要发现

• Dual-Refinement 在 Market1501 上达到 82.1% 的 rank-1 准确率，在 DukeMTMC 上也达到 82.1%，显著优于基线方法（72.5%）和 SOTA 方法如 MMT（78.0%）。
• mAP 从基线的 3.17% 提升至 Market1501 的 3.53%，从 11.45% 提升至 DukeMTMC 的 15.07%，各项指标均实现一致提升。
• 消融实验表明，最优损失权重为 α = 0.5 和 µ = 0.1，性能在此处达到峰值，进一步增加则性能下降，表明标签优化与正则化强度之间存在权衡。
• k−最近邻数（k）影响显著：当 k ≤ 10 时性能稳定，但当 k > 10 时性能急剧下降，表明过多的噪声正例会破坏展散效果。
• 细粒度聚类数 R 至关重要：在 Duke→Market1501 中 R = 5，在 Market1501→Duke 中 R = 2 时性能最佳，表明分层聚类显著提升了标签可靠性。
• 该方法在仅增加 0.36 小时训练时间的前提下，mAP 相比基线提升 10%，展现出极高的效率与可扩展性。