[论文解读] Enhancing the Association in Multi-Object Tracking via Neighbor Graph

Tianyi Liang, Long Lan+1 more|arXiv (Cornell University)|Jul 1, 2020

Video Surveillance and Tracking Methods参考文献 39被引用 4

一句话总结

该论文提出一种基于邻居图的方法，通过利用附近目标之间的时空关系来增强多目标跟踪中的数据关联，从而提高对遮挡、光照变化和检测误差的鲁棒性。通过构建目标及其选定邻居的图结构，并应用图卷积网络（GCN），该方法学习到更具鲁棒性、群体感知的特征，在在线跟踪协议下的MOT基准测试中实现了最先进性能。

ABSTRACT

Most modern multi-object tracking (MOT) systems follow the tracking-by-detection paradigm. It first localizes the objects of interest, then extracting their individual appearance features to make data association. The individual features, however, are susceptible to the negative effects as occlusions, illumination variations and inaccurate detections, thus resulting in the mismatch in the association inference. In this work, we propose to handle this problem via making full use of the neighboring information. Our motivations derive from the observations that people tend to move in a group. As such, when an individual target's appearance is seriously changed, we can still identify it with the help of its neighbors. To this end, we first utilize the spatio-temporal relations produced by the tracking self to efficiently select suitable neighbors for the targets. Subsequently, we construct neighbor graph of the target and neighbors then employ the graph convolution networks (GCN) to learn the graph features. To the best of our knowledge, it is the first time to exploit neighbor cues via GCN in MOT. Finally, we test our approach on the MOT benchmarks and achieve state-of-the-art performance in online tracking.

研究动机与目标

• 解决在遮挡、光照变化和检测不准确情况下，个体外观特征在多目标跟踪中的脆弱性。
• 通过利用邻近目标的上下文信息，提升数据关联的鲁棒性。
• 提出一种高效、轻量的邻居选择策略，仅使用跟踪系统自身的时空线索。
• 集成图卷积网络（GCN），从目标-邻居关系中学习集体特征，以提升跟踪性能。

提出的方法

• 利用跟踪系统中的时空关系为每个目标选择相关邻居，确保效率与相关性。
• 以目标为中心节点，其选定邻居为连接节点，构建邻居图。
• 应用图卷积网络（GCN）对邻居图中的特征进行聚合与优化，学习更具鲁棒性、上下文感知的表示。
• 将邻居图模块集成到JDE框架中，GCN层被添加在检测头和嵌入头之后。
• 邻居数量K设置为4；当邻居少于K个时，通过复制目标自身来填充图结构。
• 使用Adam优化器、学习率衰减、数据增强，并在COCO和CUHK-SYSU数据集上进行预训练，实现端到端训练。

实验结果

研究问题

• RQ1 当目标外观因遮挡或噪声而退化时，邻近目标能否提供可靠的上下文线索以改善数据关联？
• RQ2 如何仅利用跟踪系统自身的时空信息，高效且有效地为一个目标选择相关邻居？
• RQ3 通过建模目标与其邻居之间的关系，图卷积网络在多目标跟踪中在多大程度上能增强特征表示？
• RQ4 在在线跟踪协议下，引入邻居图特征是否能带来MOTA和IDF1的可测量提升？

主要发现

• 在MOT16基准测试的公开检测协议下，该方法实现了57.7的MOTA和62.6的IDF1，优于所有先前的在线跟踪器。
• 在MOT17上，该方法实现了58.4的MOTA和62.9的IDF1，展现出在线跟踪器中的最先进性能。
• 邻居图模块将JDE基线的MOTA从76.4提升至76.6，同时将MOT17训练集上的ID数从2271减少至2049。
• 该方法显著减少了ID切换（IDs）和误报，表明数据关联更加稳定和准确。
• 消融实验证实，邻居图学习能有效缓解因外观退化和检测噪声引起的错误。
• 即使邻居数量较少，该方法依然有效，因为模型通过复制目标来填充缺失邻居，从而处理稀疏图结构。