[论文解读] Cross-view Asymmetric Metric Learning for Unsupervised Person Re-identification

Hong-Xing Yu, Ancong Wu+1 more|arXiv (Cornell University)|Aug 27, 2017

Video Surveillance and Tracking Methods参考文献 20被引用 45

一句话总结

本文提出 CAMEL，一种用于无监督行人重识别的跨视角非对称度量学习框架，通过学习视角特定的投影来减轻相机特异性偏差。通过联合聚类未配对的跨视角图像并优化非对称度量，CAMEL 在大规模无监督 RE-ID 基准上实现了最先进性能，优于先前的无监督和有监督基线方法。

ABSTRACT

While metric learning is important for Person re-identification (RE-ID), a significant problem in visual surveillance for cross-view pedestrian matching, existing metric models for RE-ID are mostly based on supervised learning that requires quantities of labeled samples in all pairs of camera views for training. However, this limits their scalabilities to realistic applications, in which a large amount of data over multiple disjoint camera views is available but not labelled. To overcome the problem, we propose unsupervised asymmetric metric learning for unsupervised RE-ID. Our model aims to learn an asymmetric metric, i.e., specific projection for each view, based on asymmetric clustering on cross-view person images. Our model finds a shared space where view-specific bias is alleviated and thus better matching performance can be achieved. Extensive experiments have been conducted on a baseline and five large-scale RE-ID datasets to demonstrate the effectiveness of the proposed model. Through the comparison, we show that our model works much more suitable for unsupervised RE-ID compared to classical unsupervised metric learning models. We also compare with existing unsupervised RE-ID methods, and our model outperforms them with notable margins. Specifically, we report the results on large-scale unlabelled RE-ID dataset, which is important but unfortunately less concerned in literatures.

研究动机与目标

• 解决无监督行人重识别中的挑战，即缺乏标注的跨视角数据，限制了有监督方法的可扩展性。
• 克服视图特异性偏差（如光照变化、遮挡和视角变化），这些偏差会降低无监督设置下的匹配性能。
• 开发一种显式建模每个摄像头视图非对称变换的度量学习框架，以更好地对齐不同摄像头视图之间的特征。
• 通过学习共享嵌入空间以减少视图特异性失真，实现对大规模无标签监控数据的有效利用。

提出的方法

• 提出一种非对称度量学习公式，其中每个摄像头视图拥有独立的投影矩阵：$ d(\textbf{x}_i^p, \textbf{x}_j^q) = \rVert \textbf{U}^{p\top} \textbf{x}_i^p - \textbf{U}^{q\top} \textbf{x}_j^q \rVert_2 $，允许每个视图具有不同的变换。
• 将聚类（如 k-means）与度量学习结合，在共享空间中联合优化视图特定的投影和聚类分配。
• 使用迭代算法同时优化聚类分配和更新投影矩阵，以同步提升聚类质量和度量对齐效果。
• 将聚类过程不仅作为最终目标，更作为引导非对称度量学习以减少视图特异性偏差的手段。
• 将方法应用于深度特征（如 JSTL）和手工设计特征（如 LOMO），证明其在不同特征类型上的泛化能力。
• 通过联合目标端到端优化模型，平衡聚类一致性和度量学习性能。

实验结果

研究问题

• RQ1 在无标注数据下，非对称度量学习是否能有效减少无监督行人重识别中的视图特异性偏差？
• RQ2 CAMEL 在跨视角匹配中的性能与对称度量学习和经典无监督聚类方法相比如何？
• RQ3 CAMEL 对聚类数量（K）的鲁棒性如何，特别是在高维特征的大规模数据集中？
• RQ4 CAMEL 是否能在无监督设置下泛化到不同类型的特征表示，包括深度特征和手工设计特征？
• RQ5 基于聚类的度量学习框架是否在大规模无标签数据集上优于现有无监督 RE-ID 方法？

主要发现

• 在 ExMarket 数据集的多示例设置下，CAMEL 达到 55.9% 的 rank-1 准确率，优于次佳方法超过 10 个百分点。
• 在 Market1501 数据集上，CAMEL 在多示例评估中达到 54.5% 的 rank-1 准确率，显著超过基线 $L_2$ 距离（27.4%）和先前的无监督方法如 Dic 和 ISR。
• CAMEL 的对称版本（CMEL）性能远低于其非对称变体，证明视图特异性建模对性能至关重要。
• CAMEL 对聚类数量（K）的敏感度极低，在 CUHK01、Market 和 ExMarket 上，K 从 250 到 1250 的范围内性能仅轻微波动。
• 在收敛阶段，CUHK01 上包含多人的聚类比例从初始的 77.6% 降低至收敛后的 55.8%，表明聚类质量随迭代过程提升。
• 当使用 512D 的 LOMO 特征时，CAMEL 在 ExMarket 上达到 42.2% 的 rank-1 准确率，优于 Dic（33.8%）和 ISR（无结果），证实其在不同特征类型上的有效性。