[论文解读] Global Correlation Network: End-to-End Joint Multi-Object Detection and Tracking

Xuewu Lin, Yu-ang Guo+1 more|arXiv (Cornell University)|Mar 23, 2021

Video Surveillance and Tracking Methods参考文献 9被引用 10

一句话总结

本文提出全局相关性网络（GCNet），一种用于联合多目标检测与跟踪的端到端框架，通过全局相关性层回归绝对边界框坐标与尺寸，消除了对非极大值抑制、数据关联或复杂后处理的依赖。GCNet在UA-DETRAC基准上实现74.04%的检测平均精度（AP）和19.10%的跟踪PR-MOTA，联合推理速度达34 FPS。

ABSTRACT

Multi-object tracking (MOT) has made great progress in recent years, but there are still some problems. Most MOT algorithms follow tracking-by-detection framework, which separates detection and tracking into two independent parts. Early tracking-by-detection algorithms need to do two feature extractions for detection and tracking. Recently, some algorithms make the feature extraction into one network, but the tracking part still relies on data association and needs complex post-processing for life cycle management. Those methods do not combine detection and tracking well. In this paper, we present a novel network to realize joint multi-object detection and tracking in an end-to-end way, called Global Correlation Network (GCNet). Different from most object detection methods, GCNet introduces the global correlation layer for regression of absolute size and coordinates of bounding boxes instead of offsets prediction. The pipeline of detection and tracking by GCNet is conceptually simple, which does not need non-maximum suppression, data association, and other complicated tracking strategies. GCNet was evaluated on a multi-vehicle tracking dataset, UA-DETRAC, and demonstrates promising performance compared to the state-of-the-art detectors and trackers.

研究动机与目标

• 解决基于检测的跟踪框架中检测与跟踪模块分离、后处理复杂的局限性。
• 通过利用全局特征相关性回归绝对目标坐标与尺寸，将检测与跟踪统一于单一端到端网络中。
• 消除跟踪流水线中对非极大值抑制、数据关联和生命周期管理的依赖。
• 实现适用于自动驾驶和交通监控等应用的实时性能。
• 证明检测与跟踪之间共享特征可显著提升跟踪性能，且无需额外计算开销。

提出的方法

• GCNet引入全局相关性层，通过计算当前帧查询特征与前一帧关键特征之间的余弦相似度，编码全局上下文信息。
• 对每个空间位置，通过查询特征与关键特征的可学习线性投影计算相关性向量，再经由最终的线性层进行加权聚合。
• 利用相关性图通过1×1卷积头预测绝对边界框坐标与尺寸，替代基于偏移的回归方法。
• 检测与跟踪通过共享主干特征同时进行，检测置信度与跟踪置信度分别使用独立的热力图头预测。
• 推理阶段采用最大池化而非非极大值抑制来抑制冗余检测，简化处理流程。
• 模型采用CenterNet风格架构进行分类与回归，主干网络为ResNet-50。

实验结果

研究问题

• RQ1 能否在不依赖偏移预测的前提下，通过统一的端到端网络实现检测与跟踪的绝对目标坐标与尺寸回归？
• RQ2 帧间全局相关性是否可替代传统数据关联，从而降低流水线复杂度？
• RQ3 消除非极大值抑制与显式跟踪策略是否能提升推理效率与跟踪鲁棒性？
• RQ4 检测与跟踪之间的共享特征空间是否能在多目标跟踪基准上实现SOTA性能？
• RQ5 与传统基于检测的跟踪方法相比，全局相关性层在多大程度上提升了跟踪精度？

主要发现

• GCNet在UA-DETRAC检测基准上实现74.04%的平均精度（AP），优于大多数现有检测器，包括Faster R-CNN和CenterNet-Res50。
• 在UA-DETRAC跟踪基准上，GCNet实现19.10%的PR-MOTA，显著高于EB+KIOU基线（21.1%），且接近其他方法（如DPM和ACF）的两倍。
• 在单张NVIDIA 2080Ti上，GCNet实现36 FPS的检测速度与34 FPS的联合检测与跟踪速度，证明其具备实时性能。
• 模型实现57.3%的PR-MOTP，表明轨迹估计质量高且定位误差小。
• GCNet在PR-ML（9.6）和PR-FN（148,517.5）上取得最佳得分，表明其在减少误检与漏检方面表现优异。
• 消融实验证实，全局相关性层对准确的绝对坐标回归与联合检测-跟踪性能至关重要。