[论文解读] Locality Aware Appearance Metric for Multi-Target Multi-Camera Tracking

Yunzhong Hou, Liang Zheng+2 more|arXiv (Cornell University)|Nov 27, 2019

Video Surveillance and Tracking Methods参考文献 55被引用 16

一句话总结

本文提出局部感知外观度量（LAAM），一种新颖的度量学习方法，通过在局部采样数据上训练外观度量——单摄像头跟踪采用连续帧，多摄像头跟踪采用相邻摄像头——显著提升了多目标多摄像头跟踪（MTMCT）性能，在DukeMTMC上达到最先进水平，并在CityFlow上取得显著提升，优于全局训练的重识别特征在局部匹配场景下的表现。

ABSTRACT

Multi-target multi-camera tracking (MTMCT) systems track targets across cameras. Due to the continuity of target trajectories, tracking systems usually restrict their data association within a local neighborhood. In single camera tracking, local neighborhood refers to consecutive frames; in multi-camera tracking, it refers to neighboring cameras that the target may appear successively. For similarity estimation, tracking systems often adopt appearance features learned from the re-identification (re-ID) perspective. Different from tracking, re-ID usually does not have access to the trajectory cues that can limit the search space to a local neighborhood. Due to its global matching property, the re-ID perspective requires to learn global appearance features. We argue that the mismatch between the local matching procedure in tracking and the global nature of re-ID appearance features may compromise MTMCT performance. To fit the local matching procedure in MTMCT, in this work, we introduce locality aware appearance metric (LAAM). Specifically, we design an intra-camera metric for single camera tracking, and an inter-camera metric for multi-camera tracking. Both metrics are trained with data pairs sampled from their corresponding local neighborhoods, as opposed to global sampling in the re-ID perspective. We show that the locally learned metrics can be successfully applied on top of several globally learned re-ID features. With the proposed method, we report new state-of-the-art performance on the DukeMTMC dataset, and a substantial improvement on the CityFlow dataset.

研究动机与目标

• 解决全局重识别特征与多目标多摄像头跟踪（MTMCT）中局部数据关联之间的不匹配问题。
• 通过设计适配单摄像头和多摄像头跟踪局部邻域约束的度量，提升跟踪精度。
• 证明在MTMCT的局部匹配场景中，局部学习的度量优于全局学习的重识别特征。
• 在多个数据集和重识别特征主干网络上验证LAAM的有效性。

提出的方法

• 在单个摄像头内，基于同一摄像头中连续帧的轨迹对，使用局部时间窗口训练摄像头内度量。
• 在相邻摄像头之间，基于时空邻近性，训练摄像头间度量，使用目标可能相继出现的轨迹对。
• 仅从局部邻域采样训练对，与标准重识别中使用的全局采样形成对比。
• 在全局预训练的重识别特征（如IDE、PCB、三元组）基础上应用局部训练的度量，无需微调主干网络。
• 使用三层度量网络计算轨迹对之间的相似度分数，训练目标优化为提升局部匹配性能。
• 采用滑动窗口策略定义局部邻域，最优窗口大小分别为600帧（摄像头内）和2,400帧（摄像头间）。

实验结果

研究问题

• RQ1 与使用全局训练的重识别特征相比，在局部数据对上训练外观度量是否能提升多目标多摄像头跟踪性能？
• RQ2 为局部匹配设计的局部感知度量是否能在搜索空间受限的跟踪场景中超越标准全局重识别特征？
• RQ3 LAAM在不同重识别特征主干网络和数据集上的性能表现如何？
• RQ4 在MTMCT中，摄像头内与摄像头间度量学习的最优采样窗口大小是多少？

主要发现

• LAAM在DukeMTMC数据集上达到新的最先进性能，单摄像头跟踪（SCT）的IDF1为92.5%，多摄像头跟踪（MCT）在易样本测试集上的IDF1为88.6%。
• 在DukeMTMC的难样本测试集中，LAAM在SCT上达到85.8%的IDF1，在MCT上达到82.3%，分别领先第二名方法+4.6%和+8.3%。
• 在CityFlow数据集上，LAAM显著优于基线模型，展现出在不同跟踪场景下的强大泛化能力。
• 消融实验确认，摄像头内与摄像头间度量在各自对应的跟踪阶段使用时效果最佳，若互换使用则性能显著下降。
• 最优采样窗口大小为摄像头内600帧，摄像头间2,400帧，兼顾了足够的训练数据与局部性。
• 尽管因额外的相似度计算导致推理时间增加约5%，但LAAM通过提升匹配准确性显著降低了整体数据关联成本，尤其在复杂的MCT场景中表现突出。