[论文解读] Deep Sequential Multi-camera Feature Fusion for Person Re-identification.

K L Navaneet, Ravi Kiran Sarvadevabhatla+2 more|arXiv (Cornell University)|Jul 19, 2018

Video Surveillance and Tracking Methods被引用 2

一句话总结

本文提出一种基于操作员反馈与深度特征融合的序列多摄像头重识别方法，通过迭代优化提升目标排序性能。通过为增量查询表示精炼设计定制优化，并引入新颖的评估协议，该方法在Market-1501和DukeMTMC-reID数据集上显著优于基线方法，且在人类操作员性能方面表现更优。

ABSTRACT

Given a target image as query, person re-identification systems retrieve a ranked list of candidate matches on a per-camera basis. In deployed systems, a human operator scans these lists and labels sighted targets by touch or mouse-based selection. However, classical re-id approaches generate per-camera lists independently. Therefore, target identifications by operator in a subset of cameras cannot be utilized to improve ranking of the target in remaining set of network cameras. To address this shortcoming, we propose a novel sequential multi-camera re-id approach. The proposed approach can accommodate human operator inputs and provides early gains via a monotonic improvement in target ranking. At the heart of our approach is a fusion function which operates on deep feature representations of query and candidate matches. We formulate an optimization procedure custom-designed to incrementally improve query representation. Since existing evaluation methods cannot be directly adopted to our setting, we also propose two novel evaluation protocols. The results on two large-scale re-id datasets (Market-1501, DukeMTMC-reID) demonstrate that our multi-camera method significantly outperforms baselines and other popular feature fusion schemes. Additionally, we conduct a comparative subject-based study of human operator performance. The superior operator performance enabled by our approach makes a compelling case for its integration into deployable video-surveillance systems.

研究动机与目标

• 解决传统行人重识别系统独立处理各摄像头所带来的局限，即无法在摄像头间复用人类操作员的反馈。
• 通过将一个摄像头中操作员标注的匹配结果融入其他摄像头的排序中，实现目标排序的单调性提升。
• 设计一种作用于深度特征表示的新型融合函数，支持查询嵌入的增量式精炼。
• 开发适用于所提交互式、序列化多摄像头重识别场景的评估协议，因现有基准无法满足需求。
• 通过对比实验，包括对人类操作员性能的分析，实证验证该方法的优越性。

提出的方法

• 该方法采用一种融合函数，以序列方式将查询与候选匹配在多个摄像头上的深度特征进行融合。
• 通过定制优化过程，利用人类操作员的反馈，逐步改进查询表示。
• 该方法将重识别任务建模为一个序列过程，其中某一摄像头中操作员标注的匹配结果可用来改进后续摄像头的排序。
• 一种新型特征融合机制在保持摄像头视图间时空一致性的前提下，整合多摄像头特征。
• 系统通过允许操作员输入后立即实现排序改进，支持早期收益，适用于监控系统的实时部署。
• 提出两种新的评估协议，以公平评估交互式、序列化多摄像头重识别场景下的性能。

实验结果

研究问题

• RQ1 是否可以利用一个摄像头的操作员反馈来提升多摄像头重识别系统中其他摄像头的目标排序？
• RQ2 如何以序列化、增量式方式在摄像头之间融合深度特征表示，以支持实时性能提升？
• RQ3 为公平评估交互式、序列化多摄像头重识别系统，需要哪些评估协议？
• RQ4 与基线方法及现有特征融合技术相比，所提方法在准确性和鲁棒性方面表现如何？
• RQ5 该方法对人类操作员在目标识别任务中的表现有何影响？

主要发现

• 所提出的序列多摄像头重识别方法在Market-1501和DukeMTMC-reID数据集上显著优于经典方法及基线特征融合方法。
• 通过利用操作员反馈对查询表示进行增量式精炼，该方法实现了目标排序的单调性提升。
• 本文提出的新型评估协议对于公平评估交互式、序列化重识别系统至关重要，且无法直接应用于标准基准。
• 在使用所提系统时，人类操作员的表现更优，表明其在真实世界监控部署中具有实际优势。
• 通过所提优化方法在摄像头间融合深度特征，显著且可度量地提升了重识别准确率。