[论文解读] Person Re-identification with Metric Learning using Privileged Information

Xun Yang, Meng Wang+1 more|arXiv (Cornell University)|Apr 10, 2019

Video Surveillance and Tracking Methods参考文献 70被引用 7

一句话总结

本文提出了一种基于特权信息的逻辑判别度量学习方法，用于行人重识别，以学习一种局部自适应的决策规则。通过在原始特征空间和特权特征空间中联合优化度量，该方法提升了全局阈值方法的泛化能力，在Market-1501数据集上实现了52.08%的rank-1准确率和29.10%的mAP。

ABSTRACT

Despite the promising progress made in recent years, person re-identification remains a challenging task due to complex variations in human appearances from different camera views. This paper presents a logistic discriminant metric learning method for this challenging problem. Different with most existing metric learning algorithms, it exploits both original data and auxiliary data during training, which is motivated by the new machine learning paradigm - Learning Using Privileged Information. Such privileged information is a kind of auxiliary knowledge which is only available during training. Our goal is to learn an optimal distance function by constructing a locally adaptive decision rule with the help of privileged information. We jointly learn two distance metrics by minimizing the empirical loss penalizing the difference between the distance in the original space and that in the privileged space. In our setting, the distance in the privileged space functions as a local decision threshold, which guides the decision making in the original space like a teacher. The metric learned from the original space is used to compute the distance between a probe image and a gallery image during testing. In addition, we extend the proposed approach to a multi-view setting which is able to explore the complementation of multiple feature representations. In the multi-view setting, multiple metrics corresponding to different original features are jointly learned, guided by the same privileged information. Besides, an effective iterative optimization scheme is introduced to simultaneously optimize the metrics and the assigned metric weights. Experiment results on several widely-used datasets demonstrate that the proposed approach is superior to global decision threshold based methods and outperforms most state-of-the-art results.

研究动机与目标

• 解决在非重叠摄像头视图下，由于复杂外观变化带来的行人重识别挑战。
• 克服基于全局阈值的度量学习方法的局限性，该方法在类内和类间差异较大时表现不佳。
• 利用仅在训练阶段可用的特权信息，指导原始特征空间中更鲁棒、局部自适应的距离度量学习。
• 将方法扩展至多视角设置，联合学习来自多个互补视觉表征的度量。
• 提出一种迭代优化方案，联合学习距离度量及其自适应权重，以提升泛化能力。

提出的方法

• 构建一个逻辑判别度量学习框架，联合优化两个马氏距离度量：一个在原始特征空间（M），另一个在特权特征空间（P）。
• 使用特权空间中的距离 $ d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ 作为局部自适应决策阈值，以指导原始空间中主度量 $ \mathbf{M} $ 的学习。
• 最小化一个经验损失函数，惩罚原始空间距离与缩放后特权空间距离之间的差异，强制满足 $ d_{\mathbf{M}}^2(\mathbf{x}_i, \mathbf{z}_i) \lessgtr \beta d_{\mathbf{P}}^2(\mathbf{x}_i^*, \mathbf{z}_i^*) $ 对于正样本对/负样本对。
• 引入一种迭代优化算法，交替更新 $ \mathbf{M} $ 和 $ \mathbf{P} $，确保两个度量空间之间的一致性。
• 通过从不同原始特征中学习多个度量，并由共享的特权度量引导，将方法扩展至多视角重识别。
• 对 $ \mathbf{M} $ 和 $ \mathbf{P} $ 均施加半正定（PSD）约束，以确保其为有效的马氏距离函数。

实验结果

研究问题

• RQ1 特权信息是否可以通过启用局部自适应决策规则，提升行人重识别中的度量学习？
• RQ2 在原始空间和特权空间中联合学习度量，与在特权空间中使用固定欧氏距离相比，对泛化能力有何影响？
• RQ3 所提方法在标准重识别基准上相较于基于全局阈值的度量学习方法，性能提升程度如何？
• RQ4 多视角扩展在利用不同视觉表征的互补性以提升重识别性能方面效果如何？
• RQ5 学习特权度量 $ \mathbf{P} $ 与直接使用特权空间中的欧氏距离作为阈值相比，其影响如何？

主要发现

• 所提出的LDML+方法在Market-1501数据集上实现了52.08%的rank-1识别率和29.10%的mAP，相比基线欧氏距离在rank-1准确率上提升了超过13个百分点。
• 与直接使用特权空间中的欧氏距离作为阈值相比，联合学习特权度量 $ \mathbf{P} $ 使mAP提升了超过9%。
• 如图5所示的归一化距离直方图显示，该方法显著降低了原始特征空间中的类内差异，并增强了类间分离。
• 多视角扩展有效利用了不同视觉表征之间的互补性，增强了对外观变化的鲁棒性。
• 迭代优化方案成功平衡了度量学习与阈值自适应，从而提升了测试集上的泛化能力。
• 由于特权空间教师的强引导作用，该方法在低维特征上表现出更优的泛化能力。