[论文解读] Joint Person Re-identification and Camera Network Topology Inference in Multiple Cameras

Yeong-Jun Cho, Su-A Kim+3 more|arXiv (Cornell University)|Oct 3, 2017

Video Surveillance and Tracking Methods参考文献 55被引用 12

一句话总结

本文提出了一种统一框架，用于在大规模、非重叠多摄像头系统中联合进行行人重识别与摄像头网络拓扑推断。通过迭代地利用拓扑估计结果优化重识别结果，并反之亦然，该方法在仅依赖极少先验知识的情况下实现了高精度，且在新构建的数据集（SLP）上表现出最先进性能，针对一个具有挑战性的摄像头配对实现了99.2%的rank-1准确率。

ABSTRACT

Person re-identification is the task of recognizing or identifying a person across multiple views in multi-camera networks. Although there has been much progress in person re-identification, person re-identification in large-scale multi-camera networks still remains a challenging task because of the large spatio-temporal uncertainty and high complexity due to a large number of cameras and people. To handle these difficulties, additional information such as camera network topology should be provided, which is also difficult to automatically estimate, unfortunately. In this study, we propose a unified framework which jointly solves both person re-identification and camera network topology inference problems with minimal prior knowledge about the environments. The proposed framework takes general multi-camera network environments into account and can be applied to online person re-identification in large-scale multi-camera networks. In addition, to effectively show the superiority of the proposed framework, we provide a new person re-identification dataset with full annotations, named SLP, captured in the multi-camera network consisting of nine non-overlapping cameras. Experimental results using our person re-identification and public datasets show that the proposed methods are promising for both person re-identification and camera topology inference tasks.

研究动机与目标

• 解决在具有高时空不确定性的非重叠摄像头网络中大规模行人重识别的挑战。
• 克服现有方法仅依赖外观或简单相关性进行拓扑推断的局限性。
• 通过联合优化两项任务，解决重识别与拓扑推断之间的鸡肋问题。
• 开发一种实用的在线重识别系统，能够动态更新拓扑与识别性能。
• 提供一个新的、完全标注的数据集（SLP），用于基准测试非重叠摄像头网络中的大规模行人重识别。

提出的方法

• 采用多帧匹配方法，结合时间高效的随机森林，通过聚合同一人物在多个出现中的外观特征，提升重识别准确率。
• 利用多帧方法获得的高可靠性重识别结果，推断初始摄像头网络拓扑。
• 应用迭代优化循环：先利用拓扑信息改进重识别，再利用改进后的重识别结果进一步优化拓扑，直至收敛。
• 使用单峰高斯分布建模摄像头间转换，以估计区域之间的时空关系。
• 集成框架以实现在线重识别，随时间持续更新拓扑与识别性能。
• 采用基于区域的拓扑表示方法，降低复杂度，提升大规模网络中的可扩展性。

实验结果

研究问题

• RQ1 联合优化行人重识别与摄像头网络拓扑推断是否能提升大规模、非重叠多摄像头系统中的准确率？
• RQ2 如何仅利用高置信度重识别结果推断出可靠的初始拓扑？
• RQ3 与独立方法相比，对拓扑与重识别进行迭代优化能在多大程度上提升性能？
• RQ4 该统一框架是否能在极少关于摄像头网络布局先验知识的条件下运行？
• RQ5 在真实世界数据与新采集数据上，该方法与最先进方法相比在定量指标上表现如何？

主要发现

• 所提框架在SLP数据集的挑战性CAM1-CAM2配对上实现了93.2%的rank-1准确率，显著优于先前方法。
• 在NLPR MCT数据集上，拓扑推断在两次迭代内即完成收敛，表现出快速收敛性与鲁棒性。
• 该方法生成了清晰、与真实标签对齐的过渡分布，而此前方法生成的分布则存在噪声或模糊性。
• 计算复杂度为O(NK log N)，随人员数量线性增长，适用于大规模部署。
• SLP数据集包含九个非重叠摄像头，为大规模行人重识别提供了全新的全标注基准。
• 迭代优化过程显著提升了重识别准确率与拓扑推断质量，验证了两项任务之间的相互补充性。