[论文解读] GIAOTracker: A comprehensive framework for MCMOT with global information and optimizing strategies in VisDrone 2021

Yunhao Du, Junfeng Wan+4 more|arXiv (Cornell University)|Feb 24, 2022

Video Surveillance and Tracking Methods参考文献 48被引用 7

一句话总结

GIAOTracker 是一种新颖的三阶段多类别多目标跟踪（MCMOT）框架，用于无人机视频，通过整合全局信息和优化策略，实现了最先进性能。它通过自适应运动建模、全局特征提取器（GIModel）以及四种后处理技术提升跟踪效果，在 VisDrone2021 MOT 挑战赛中取得 54.18 mAP 的成绩并获得第二名。

ABSTRACT

In recent years, algorithms for multiple object tracking tasks have benefited from great progresses in deep models and video quality. However, in challenging scenarios like drone videos, they still suffer from problems, such as small objects, camera movements and view changes. In this paper, we propose a new multiple object tracker, which employs Global Information And some Optimizing strategies, named GIAOTracker. It consists of three stages, i.e., online tracking, global link and post-processing. Given detections in every frame, the first stage generates reliable tracklets using information of camera motion, object motion and object appearance. Then they are associated into trajectories by exploiting global clues and refined through four post-processing methods. With the effectiveness of the three stages, GIAOTracker achieves state-of-the-art performance on the VisDrone MOT dataset and wins the 3rd place in the VisDrone2021 MOT Challenge.

研究动机与目标

• 解决无人机视频跟踪中因小目标、相机运动和视角变化带来的挑战。
• 通过整合全局信息并优化跟踪阶段，提升跟踪的鲁棒性与准确性。
• 构建一个全面的框架，以增强复杂无人机场景下的在线跟踪、全局关联与后处理能力，实现 MCMOT。
• 通过新型特征与运动建模策略，减少检测噪声与遮挡带来的跟踪误差。
• 验证轨迹去噪、插值、重评分与模型融合等后处理技术的有效性。

提出的方法

• 提出 EMA Bank，一种特征存储与更新策略，用于维持动态特征状态并追踪特征变化信息。
• 引入噪声尺度自适应卡尔曼滤波器（NSA Kalman），根据检测质量动态调整测量噪声尺度，以提升运动建模性能。
• 设计 GIModel，一种轨迹片段特征提取器，通过基于自注意力机制的时间建模模块，融合全局与局部外观特征，实现鲁棒的表征。
• 采用全局关联阶段，利用轨迹片段特征与时空距离将轨迹片段关联为完整轨迹。
• 应用四种后处理策略：基于时间 IoU 的 NMS 用于去噪，线性插值用于缺失检测，基于长度的重评分，以及 TrackNMS 用于模型融合。
• 采用分层跟踪流程：在线跟踪 → 全局关联 → 后处理，实现鲁棒且准确的轨迹构建。

Figure 1: Overview of our proposed GIAOTracker pipeline for MCMOT

实验结果

研究问题

• RQ1 如何有效利用全局信息以提升无人机视频 MCMOT 中的轨迹关联性能？
• RQ2 自适应运动建模与优化的特征表示在复杂无人机场景中在多大程度上提升了跟踪的鲁棒性？
• RQ3 后处理技术的组合是否能显著提升基础跟踪器的性能？
• RQ4 通过 TrackNMS 实现的模型融合在复杂无人机视频序列中对跟踪 mAP 有何影响？
• RQ5 在 VisDrone2021 上实现高性能时，检测质量与跟踪框架设计的相对贡献分别是什么？

主要发现

• GIAOTracker 在 VisDrone2021 测试挑战集上达到 54.18 mAP，157 个提交中排名第二。
• 在基于标注的检测结果下，GIAOTracker 在测试开发集上达到 82.97 mAP，较其最佳单模型结果提升 92.4%。
• 后处理阶段贡献显著，其中去噪、插值与重评分分别使 mAP 提升 0.14、0.23 和 1.64 个百分点。
• 通过 TrackNMS 实现的模型融合将性能从 43.12 mAP 提升至 44.46 mAP，证明了集成跟踪的有效性。
• 全局关联阶段显著提升了跟踪性能，尤其在遮挡与视角变化情况下有效减少了轨迹断裂。
• NSA Kalman 与 GIModel 均优于标准线性卡尔曼滤波器与基线特征提取器，证明其在运动与外观建模中的有效性。

Figure 2: Comparision between DeepSORT (baseline) and GIAOTracker-Online (ours).