[论文解读] Event-Based Features Selection and Tracking from Intertwined Estimation of Velocity and Generative Contours

Laurent Dardelet, Sio-Hoï Ieng+1 more|arXiv (Cornell University)|Nov 19, 2018

Advanced Memory and Neural Computing参考文献 11被引用 6

一句话总结

本文提出了一种纯事件驱动的方法，通过贝叶斯推理实现速度与生成轮廓的交织估计，以检测和跟踪任意视觉特征。通过异步处理每个事件并沿估计速度方向投影，该方法在不同光照、速度和特征类型下实现了快速、鲁棒的跟踪，且调参极少，时间分辨率极高。

ABSTRACT

This paper presents a new event-based method for detecting and tracking features from the output of an event-based camera. Unlike many tracking algorithms from the computer vision community, this process does not aim for particular predefined shapes such as corners. It relies on a dual intertwined iterative continuous -- pure event-based -- estimation of the velocity vector and a bayesian description of the generative feature contours. By projecting along estimated speeds updated for each incoming event it is possible to identify and determine the spatial location and generative contour of the tracked feature while iteratively updating the estimation of the velocity vector. Results on several environments are shown taking into account large variations in terms of luminosity, speed, nature and size of the tracked features. The usage of speed instead of positions allows for a much faster feedback allowing for very fast convergence rates.

研究动机与目标

• 解决缺乏高效、纯事件驱动的特征检测与跟踪方法的问题，避免依赖帧处理。
• 克服基于帧的方法所牺牲的事件相机低延迟和低冗余优势。
• 在无需预设形状先验的情况下，实现对大亮度变化、高速度和复杂运动的鲁棒特征跟踪。
• 通过直接在时间域中使用异步事件流操作，充分利用事件相机的高时间分辨率。
• 同时估计速度并提供特征轮廓的本征贝叶斯描述，以提升跟踪稳定性与收敛性。

提出的方法

• 采用速度矢量与生成特征轮廓之间的双重、交织迭代估计过程，基于贝叶斯推理。
• 实时逐个处理每个到达的事件，无需时间批处理，直接更新速度估计与空间投影。
• 沿估计的速度矢量投影事件，以确定被跟踪特征的空间位置与轮廓。
• 基于贝叶斯概率构建特征轮廓的生成模型，以描述被跟踪特征的动态形状演变。
• 依赖异步、时域计算以保持低延迟与高响应性，避免帧累积。
• 通过多种初始速度投影初始化跟踪，降低对调参的依赖，提升鲁棒性。

实验结果

研究问题

• RQ1 纯事件驱动的方法是否能在不依赖帧处理或预设特征形状的情况下实现可靠的特征检测与跟踪？
• RQ2 如何有效将速度估计与轮廓建模交织，以提升跟踪稳定性与收敛性？
• RQ3 该方法在无需重新调参的情况下，能多大程度上应对亮度、速度与特征复杂度的大幅变化？
• RQ4 使用异步事件处理与连续速度更新对跟踪性能与收敛速度有何影响？
• RQ5 能否仅使用事件流数据实时有效维持并更新特征轮廓的贝叶斯描述？

主要发现

• 通过使用速度反馈而非基于位置的更新，该方法实现了快速收敛，具备实时响应能力。
• 在各种环境（包括大亮度变化与高速运动场景）下，跟踪性能保持鲁棒。
• 该算法成功跟踪了复杂非刚性特征（如具有大幅垂直头部摆动的行人），证明其在简单形状之外具有良好的泛化能力。
• 使用多种初始速度投影显著降低了对参数调优的敏感性，增强了可靠性。
• 通过持续的贝叶斯更新，方法保持了精确的特征轮廓描述，实现了无需帧重建的高精度跟踪。
• 实验结果表明，该方法在延迟与计算效率方面优于传统帧基技术，同时保持了具有竞争力的准确性。