[论文解读] Dynamic Label Graph Matching for Unsupervised Video Re-Identification

Mang Ye, J. Andy+3 more|arXiv (Cornell University)|Sep 27, 2017

Video Surveillance and Tracking Methods参考文献 11被引用 33

一句话总结

本文提出动态标签图匹配（DGM），一种迭代的无监督视频重识别方法，通过动态更新特征表示和图结构，提升跨摄像头标签估计性能。DGM通过引入软标签重加权和判别性度量学习，在MARS数据集上达到与监督基线相当的性能，在无监督方法中表现领先。

ABSTRACT

Label estimation is an important component in an unsupervised person re-identification (re-ID) system. This paper focuses on cross-camera label estimation, which can be subsequently used in feature learning to learn robust re-ID models. Specifically, we propose to construct a graph for samples in each camera, and then graph matching scheme is introduced for cross-camera labeling association. While labels directly output from existing graph matching methods may be noisy and inaccurate due to significant cross-camera variations, this paper proposes a dynamic graph matching (DGM) method. DGM iteratively updates the image graph and the label estimation process by learning a better feature space with intermediate estimated labels. DGM is advantageous in two aspects: 1) the accuracy of estimated labels is improved significantly with the iterations; 2) DGM is robust to noisy initial training data. Extensive experiments conducted on three benchmarks including the large-scale MARS dataset show that DGM yields competitive performance to fully supervised baselines, and outperforms competing unsupervised learning methods.

研究动机与目标

• 解决大规模摄像头网络中无监督行人重识别的挑战，其中监督标注成本高昂且不切实际。
• 在存在显著外观差异和初始数据噪声的情况下，提升跨摄像头标签估计的准确性。
• 开发一种鲁棒的迭代框架，同时优化特征表示与标签分配，以提升重识别性能。
• 证明通过图匹配进行无监督标签估计可实现与完全监督基线相当的性能。

提出的方法

• 为每个摄像头构建二部图，利用视觉特征将行人样本表示为节点，其成对相似度表示为边。
• 应用图匹配算法，基于摄像头内关系与全局代价最小化，估计跨摄像头对应关系（匹配/不匹配对）。
• 引入动态更新机制，通过中间估计的标签迭代优化特征空间，提升匹配准确性。
• 采用标签重加权策略生成软标签，降低噪声中间预测的影响。
• 在每次迭代中使用优化后的标签学习判别性度量，进一步提升后续图匹配的质量。
• 在图匹配中使用两层代价函数：一层用于摄像头内结构，另一层用于跨摄像头对应关系，增强对变化的鲁棒性。

实验结果

研究问题

• RQ1 迭代优化特征表示与标签估计是否能提升无监督视频重识别中的跨摄像头标签准确性？
• RQ2 动态图匹配相较于静态图匹配，在处理摄像头间显著外观差异时表现如何？
• RQ3 在存在干扰项和多轨迹片段等实际挑战下，该方法的有效性如何？
• RQ4 通过图匹配进行无监督标签估计能否实现与完全监督重识别基线相当的性能？

主要发现

• 在MARS数据集上，DGM结合IDE基线达到83.4%的rank-1准确率，接近完全监督IDE基线的88.0%。
• 在PRID-2011上，DGM结合XQDA基线达到70.7%的rank-1准确率，领先最佳无监督方法（UnKISS）12.5个百分点。
• 在实际条件下性能稳定：在PRID-2011上，引入50%干扰项或50%轨迹片段时，rank-1准确率下降不足2%。
• 标签重加权显著提升鲁棒性，有效降低低置信度正样本匹配的影响，尤其在噪声环境下。
• DGM在所有三个基准数据集上均优于当前最先进的无监督视频重识别方法，包括DVDL、FV3D、STF3D和UnKISS。
• 迭代优化过程逐步提升标签准确性与判别性度量，证明了动态学习的有效性。