[论文解读] TrackNet: Simultaneous Object Detection and Tracking and Its Application in Traffic Video Analysis

Chenge Li, Gregory Dobler+2 more|arXiv (Cornell University)|Feb 4, 2019

Video Surveillance and Tracking Methods参考文献 3被引用 23

一句话总结

TrackNet 是一种统一的深度学习框架，通过使用改进的 Faster R-CNN 架构生成三维时空边界框管（tube），在视频中联合执行目标检测与跟踪。它利用来自 3D C3D 网络的时空特征和来自 VGG 的外观特征，通过管提议网络（TPN）预测管状结构，在 UA-DETRAC 数据集上实现了最先进性能，当使用 512 维特征压缩时，mAP 达到 40.45%。

ABSTRACT

Object detection and object tracking are usually treated as two separate processes. Significant progress has been made for object detection in 2D images using deep learning networks. The usual tracking-by-detection pipeline for object tracking requires that the object is successfully detected in the first frame and all subsequent frames, and tracking is done by associating detection results. Performing object detection and object tracking through a single network remains a challenging open question. We propose a novel network structure named trackNet that can directly detect a 3D tube enclosing a moving object in a video segment by extending the faster R-CNN framework. A Tube Proposal Network (TPN) inside the trackNet is proposed to predict the objectness of each candidate tube and location parameters specifying the bounding tube. The proposed framework is applicable for detecting and tracking any object and in this paper, we focus on its application for traffic video analysis. The proposed model is trained and tested on UA-DETRAC, a large traffic video dataset available for multi-vehicle detection and tracking, and obtained very promising results.

研究动机与目标

• 解决在视频分析中将目标检测与跟踪视为独立过程的局限性。
• 通过在统一网络中联合建模空间外观与时间运动特征，提升跟踪性能。
• 通过在单次前向传播中生成完整的物体轨迹（管状结构），降低计算成本和后处理复杂度。
• 通过特征融合、空间变换器和数据增强，提升模型泛化能力和定位精度。
• 评估在复杂交通视频场景中，管状级别提议相较于帧级别检测与关联的有效性。

提出的方法

• 将 Faster R-CNN 扩展为处理一组连续帧（GoP）作为三维体，实现检测与跟踪的联合处理。
• 采用管提议网络（TPN），直接从时空特征中预测候选三维管状结构的置信度和位置参数。
• 融合来自 3D C3D 网络（用于运动）和 2D VGG 网络（用于外观）的特征，并通过 128 维压缩层降低特征维度。
• 使用空间变换器模块对齐帧间特征，提升对视角和运动变化的鲁棒性。
• 在 TPN 中应用线性插值（LP），隐式正则化运动平滑性并减少参数量。
• 在 UA-DETRAC 数据集上使用端到端优化进行模型训练与测试，分类损失使用交叉熵，回归损失使用平滑 L1 损失。

实验结果

研究问题

• RQ1 通过三维管状提议实现联合检测与跟踪，是否能在视频分析中超越传统的检测-跟踪流水线？
• RQ2 融合来自 3D CNN 的时空特征与来自 2D CNN 的外观特征，对跟踪精度和鲁棒性有何影响？
• RQ3 与帧级别检测和关联相比，使用管状提议在多大程度上降低了计算开销和后处理复杂度？
• RQ4 空间变换器和线性插值等架构组件在多大程度上影响模型性能与泛化能力？
• RQ5 特征维度压缩与数据增强对交通视频跟踪中定位精度和 mAP 的影响如何？

主要发现

• 当特征维度压缩至 128 时，完整 TrackNet 模型在 UA-DETRAC 数据集上的平均平均精度（mAP）达到 37.47%。
• 将压缩维度从 128 提升至 512 后，mAP 提升至 40.45%，表明保留更多特征细节具有显著优势。
• VGG 特征拼接和空间变换器模块的引入显著提升了性能，表明其在特征表示中的关键作用。
• 在 TPN 中引入线性插值（LP）在参数更少的情况下提升了性能，表明其对运动平滑性的有效隐式正则化。
• 由于联合使用空间与运动特征，模型表现出更高的精度（误报更少），但因 GoP 级特征分辨率限制，定位略显松散。
• 性能受视角影响明显，正面视角最易处理，通过水平翻转进行数据增强可提升泛化能力。