[论文解读] e-TLD: Event-based Framework for Dynamic Object Tracking

Bharath Ramesh, Shihao Zhang+5 more|arXiv (Cornell University)|Sep 2, 2020

Video Surveillance and Tracking Methods参考文献 37被引用 13

一句话总结

本文提出 e-TLD，一种用于事件相机的实时、长期目标跟踪框架，结合了基于事件的局部跟踪器与全局检测器，以在遮挡后实现重新捕获。通过在线判别性学习和贝叶斯自助法，该方法在尺度、旋转、视角变化及遮挡条件下均表现出鲁棒性，在公开数据集上的定量性能显示其在多样化运动轨迹下具有高成功率。

ABSTRACT

This paper presents a long-term object tracking framework with a moving event camera under general tracking conditions. A first of its kind for these revolutionary cameras, the tracking framework uses a discriminative representation for the object with online learning, and detects and re-tracks the object when it comes back into the field-of-view. One of the key novelties is the use of an event-based local sliding window technique that tracks reliably in scenes with cluttered and textured background. In addition, Bayesian bootstrapping is used to assist real-time processing and boost the discriminative power of the object representation. On the other hand, when the object re-enters the field-of-view of the camera, a data-driven, global sliding window detector locates the object for subsequent tracking. Extensive experiments demonstrate the ability of the proposed framework to track and detect arbitrary objects of various shapes and sizes, including dynamic objects such as a human. This is a significant improvement compared to earlier works that simply track objects as long as they are visible under simpler background settings. Using the ground truth locations for five different objects under three motion settings, namely translation, rotation and 6-DOF, quantitative measurement is reported for the event-based tracking framework with critical insights on various performance issues. Finally, real-time implementation in C++ highlights tracking ability under scale, rotation, view-point and occlusion scenarios in a lab setting.

研究动机与目标

• 开发一种适用于事件相机的实时、长期目标跟踪系统，能够在遮挡、背景杂波和光照变化等挑战性条件下运行。
• 通过数据驱动的全局检测器，实现在目标短暂遮挡或离开视野后重新跟踪。
• 通过增量 SVM 学习和高效的基于事件的描述子，降低计算成本并减少对深度学习的依赖。
• 利用稀疏、高时间分辨率的事件数据，在尺度、旋转和视角变化下实现鲁棒跟踪。
• 通过 C++ 实现，在标准硬件上实现实时性能，使该框架适用于脉冲视觉系统。

提出的方法

• 该框架采用基于事件的判别性分类器的局部滑动窗口跟踪器，通过在线增量 SVM 更新进行训练。
• 应用贝叶斯自助法以增强目标表征的判别能力，并支持实时处理。
• 当目标重新进入视野时，触发全局滑动窗口检测器，利用事件数据在不同视角下定位目标。
• 跟踪器在由最后已知位置定义的空间受限区域内运行，时间限制基于事件到达率。
• 通过先前工作中的描述子从事件流中学习目标表征，实现从稀疏、异步数据中高效提取特征。
• 系统以 C++ 实现，并针对标准硬件进行优化，支持动态运动和遮挡处理。

实验结果

研究问题

• RQ1 能否基于事件相机构建一种长期目标跟踪系统，使其在遮挡和背景变化下仍保持高精度？
• RQ2 在杂乱、纹理丰富的环境中，基于事件的局部跟踪器结合在线学习的性能如何？
• RQ3 跟踪器和检测器的阈值参数对跟踪鲁棒性与重新捕获性能有何影响？
• RQ4 该系统在实时场景中对尺度、旋转和视角变化的处理能力如何？
• RQ5 系统在多大程度上可实现无需人工初始化，而依赖自动检测运行？

主要发现

• e-TLD 框架在五种不同物体上，针对平移、旋转及六自由度运动轨迹，实现了较高的重叠成功率（OS）和中心位置误差（CLE），多数物体的 OS 值超过 0.8。
• 当阈值 τt = 0.8 时，跟踪器保持鲁棒性能，在实验室实验中即使在尺度和视角变化下也表现出稳定跟踪。
• 通过全局检测器实现的物体重新捕获有效，但对事件生成率较低的物体（如均匀显示器）性能下降，尤其在较高 τ 值时。
• 系统对初始化误差具有鲁棒性，在边界框坐标与真实值偏差达 10% 以内时仍保持可接受性能。
• 该框架在约 150 KB/s 的数据速率下高效运行，远低于标准 VGA 相机（约 10 MB/s），同时保持高时间分辨率和动态范围。
• 采用贝叶斯自助法和增量 SVM 学习，实现无需重训练或专用硬件的实时处理，优于基于深度学习的替代方案。