[论文解读] Learning a Proposal Classifier for Multiple Object Tracking

Peng Dai, Renliang Weng+4 more|arXiv (Cornell University)|Mar 14, 2021

Video Surveillance and Tracking Methods参考文献 65被引用 8

一句话总结

本文提出一种可学习的、基于候选框的多目标跟踪（MOT）框架，将跟踪问题建模为候选框生成、通过图卷积网络（GCN）进行打分，以及轨迹推理。通过端到端可训练的候选轨迹打分机制和基于迭代图聚类的遮挡鲁棒处理，该方法在MOT17和MOT20上分别实现了IDF1提升1.2和3.4个百分点，达到当前最先进性能。

ABSTRACT

The recent trend in multiple object tracking (MOT) is heading towards leveraging deep learning to boost the tracking performance. However, it is not trivial to solve the data-association problem in an end-to-end fashion. In this paper, we propose a novel proposal-based learnable framework, which models MOT as a proposal generation, proposal scoring and trajectory inference paradigm on an affinity graph. This framework is similar to the two-stage object detector Faster RCNN, and can solve the MOT problem in a data-driven way. For proposal generation, we propose an iterative graph clustering method to reduce the computational cost while maintaining the quality of the generated proposals. For proposal scoring, we deploy a trainable graph-convolutional-network (GCN) to learn the structural patterns of the generated proposals and rank them according to the estimated quality scores. For trajectory inference, a simple deoverlapping strategy is adopted to generate tracking output while complying with the constraints that no detection can be assigned to more than one track. We experimentally demonstrate that the proposed method achieves a clear performance improvement in both MOTA and IDF1 with respect to previous state-of-the-art on two public benchmarks. Our code is available at https://github.com/daip13/LPC_MOT.git.

研究动机与目标

• 为多目标跟踪（MOT）中的数据关联挑战提出一种可学习的、端到端的框架。
• 通过建模候选轨迹中的高阶结构模式，提升在遮挡和杂乱场景下的身份保持能力。
• 在保持高质量轨迹候选框的同时，降低候选框生成的计算成本。
• 用可训练的GCN替代基于启发式的相似度设计，根据结构纯净度对候选框进行打分。
• 通过整合候选框打分与去重推理，实现在公开MOT基准上的最先进性能。

提出的方法

• 提出一种受Faster R-CNN启发的两阶段、基于候选框的MOT框架，将跟踪分解为候选框生成、打分和轨迹推理三个阶段。
• 采用迭代图聚类算法，通过将检测结果分组为候选轨迹来生成候选框，同时最小化计算成本。
• 部署可训练的图卷积网络（GCN），通过建模结构模式并估计轨迹纯净度来对候选框进行打分。
• 应用去重策略，解决同一检测被分配到多个轨迹的冲突问题，确保每个检测最多仅属于一个轨迹。
• 构建一个关联图，其中节点代表检测或轨迹片段，边代表时间之间的可能关联。
• 为每个模块使用现成组件，实现模块化且可扩展的设计。

实验结果

研究问题

• RQ1 可学习的、基于候选框的框架是否能在身份保持能力和对遮挡的鲁棒性方面超越现有的基于启发式的MOT方法？
• RQ2 与成对匹配代价相比，基于GCN的打分机制在捕捉候选轨迹内部高阶结构模式方面是否更有效？
• RQ3 与贪心或穷举方法相比，迭代图聚类是否能在候选框质量与计算效率之间提供更好的权衡？
• RQ4 候选框生成与打分模块的端到端训练是否能进一步提升跟踪性能？
• RQ5 在标准MOT基准上，该方法与最先进方法相比，在MOTA和IDF1指标上的表现如何？

主要发现

• 在MOT17上，该方法实现了59.0%的MOTA和66.8%的IDF1，创下新的最先进水平，IDF1相比之前最先进方法提升1.2个百分点。
• 在MOT20上，该方法实现了56.3%的MOTA和62.5%的IDF1，相比先前方法IDF1提升达3.4个百分点。
• 用于候选框生成的迭代贪心聚类策略相比简单贪心方法性能略优，实现63.6%的MOTA和71.7%的IDF1。
• 基于GCN的纯净度网络通过建模候选框中的高阶结构模式，显著提升了对遮挡的鲁棒性。
• 采用排序候选框的去重策略实现了最优性能，当使用简单去重方法时，达到63.9%的MOTA和71.8%的IDF1。
• 该方法在MOT17上优于MPNTrack，MOTA相近但IDF1显著更高，表明在使用相同检测结果和后处理的前提下，关联精度更优。