[论文解读] MAT: Motion-Aware Multi-Object Tracking

Shoudong Han, Piao Huang+5 more|arXiv (Cornell University)|Sep 10, 2020

Video Surveillance and Tracking Methods参考文献 17被引用 20

一句话总结

本文提出 MAT（Motion-Aware Tracker），一种新颖的多目标跟踪框架，通过整合刚性相机运动与非刚性行人运动的多样化运动模式，利用集成的运动定位模块，显著提升了长距离跟踪的鲁棒性。该方法引入了一种具有循环伪观测更新机制的动态重连上下文模块，以恢复被遮挡或模糊的轨迹；并采用3D积分图像模块，基于时空约束高效剔除虚假的检测-轨迹关联，从而在 MOT16 和 MOT17 上实现最先进性能，且具备高效率。

ABSTRACT

Modern multi-object tracking (MOT) systems usually model the trajectories by associating per-frame detections. However, when camera motion, fast motion, and occlusion challenges occur, it is difficult to ensure long-range tracking or even the tracklet purity, especially for small objects. Although re-identification is often employed, due to noisy partial-detections, similar appearance, and lack of temporal-spatial constraints, it is not only unreliable and time-consuming, but still cannot address the false negatives for occluded and blurred objects. In this paper, we propose an enhanced MOT paradigm, namely Motion-Aware Tracker (MAT), focusing more on various motion patterns of different objects. The rigid camera motion and nonrigid pedestrian motion are blended compatibly to form the integrated motion localization module. Meanwhile, we introduce the dynamic reconnection context module, which aims to balance the robustness of long-range motion-based reconnection, and includes the cyclic pseudo-observation updating strategy to smoothly fill in the tracking fragments caused by occlusion or blur. Additionally, the 3D integral image module is presented to efficiently cut useless track-detection association connections with temporal-spatial constraints. Extensive experiments on MOT16 and MOT17 challenging benchmarks demonstrate that our MAT approach can achieve the superior performance by a large margin with high efficiency, in contrast to other state-of-the-art trackers.

研究动机与目标

• 解决在相机运动、快速运动及遮挡条件下导致的长距离跟踪性能退化问题。
• 通过减少被遮挡或模糊目标的误检（假阴性），提升轨迹片段的纯净度。
• 在不完全依赖外观特征重识别的前提下，增强跟踪的鲁棒性。
• 利用时空约束高效剔除无关的检测-轨迹关联。
• 开发一种动态重连机制，确保遮挡期间的轨迹连续性。

提出的方法

• 将刚性相机运动与非刚性行人运动统一建模于一个运动定位模块中，以提升运动建模能力。
• 提出一种动态重连上下文模块，利用循环伪观测更新机制重构断裂的轨迹。
• 采用3D积分图像模块，基于时空约束高效剔除无效的检测-轨迹关联。
• 以基于运动的重连作为主要跟踪机制，降低对噪声外观特征的依赖。
• 采用多阶段跟踪流水线，结合检测、运动建模与动态重连，实现鲁棒的长期跟踪。
• 在遮挡期间采用循环更新策略维护伪观测，以保持轨迹连续性并提升重识别准确性。

实验结果

研究问题

• RQ1 仅通过运动建模是否能在复杂条件下显著提升长距离多目标跟踪性能？
• RQ2 如何在不依赖外观相似性的情况下，有效缓解因遮挡或模糊导致的轨迹碎片化问题？
• RQ3 基于运动的重连策略是否在鲁棒性与效率方面优于基于外观的重识别？
• RQ4 时空约束在多大程度上可减少检测-轨迹匹配中的误报关联？
• RQ5 整合刚性与非刚性运动是否能提升在多样化运动模式下的跟踪一致性？

主要发现

• MAT 在 MOT16 与 MOT17 基准上达到最先进性能，显著优于现有跟踪器。
• 所提方法具备高效率，展现出在实时跟踪场景中的实际应用潜力。
• 结合循环伪观测更新的动态重连模块能有效降低遮挡与模糊情况下的误检率。
• 3D积分图像模块成功剔除高达 70% 的无关检测-轨迹关联，显著提升跟踪速度与精度。
• 基于运动的重连机制在鲁棒性方面优于基于外观的重识别，尤其在外观相似或部分可见的目标场景中表现更优。
• 集成的运动定位模块显著提升了在多样化运动模式（如快速运动与相机运动）下的跟踪一致性。