[论文解读] ASAP: Adaptive Scheme for Asynchronous Processing of Event-based Vision Algorithms

Raúl Tapia, Augusto Gómez Eguíluz+2 more|arXiv (Cornell University)|Sep 18, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

ASAP 提出了一种自适应事件打包方案，通过动态调整包大小并应用随机事件过滤，以在异步事件驱动视觉算法中平衡响应速度与防止溢出。通过将处理时间与事件包时间同步，并在需要时过滤多余事件，ASAP 实现了在资源受限平台（如无人机）上的实时、响应式处理。

ABSTRACT

Event cameras can capture pixel-level illumination changes with very high temporal resolution and dynamic range. They have received increasing research interest due to their robustness to lighting conditions and motion blur. Two main approaches exist in the literature to feed the event-based processing algorithms: packaging the triggered events in event packages and sending them one-by-one as single events. These approaches suffer limitations from either processing overflow or lack of responsivity. Processing overflow is caused by high event generation rates when the algorithm cannot process all the events in real-time. Conversely, lack of responsivity happens in cases of low event generation rates when the event packages are sent at too low frequencies. This paper presents ASAP, an adaptive scheme to manage the event stream through variable-size packages that accommodate to the event package processing times. The experimental results show that ASAP is capable of feeding an asynchronous event-by-event clustering algorithm in a responsive and efficient manner and at the same time prevents overflow.

研究动机与目标

• 解决在资源受限平台上运行事件驱动视觉算法时，响应速度与系统溢出之间的权衡问题。
• 克服固定大小事件包（存在溢出风险）和单事件处理（存在计算溢出风险）的局限性。
• 实现在低功耗无人机等计算资源中等的平台上对事件流的实时异步处理。
• 确保算法在下一个事件包到达前完成每个事件包的处理，维持实时性能。
• 自适应管理事件流速率，以匹配目标硬件的处理能力。

提出的方法

• 使用闭环反馈机制，根据前一个事件包的处理时间动态调整事件包大小。
• 动态调整事件包大小，使算法处理所需时间与事件包内事件的时间跨度相匹配。
• 实施随机事件丢弃过程（γ 过滤器），当处理负载超过实时处理能力时降低事件速率。
• 自适应调整过滤率 γ，以确保有效事件速率 R 始终处于算法可实时处理的范围内。
• 设置上限阈值 a = 5×10⁶ 个事件/秒，当事件速率超过系统处理能力时触发过滤。
• 将该方案集成到 C++ 框架中，使用 UAL 抽象层、ROS Kinetic 和 PX4 实现无人机部署。

实验结果

研究问题

• RQ1 如何在低功耗机器人平台上实现实时、响应式且无溢出的事件流处理？
• RQ2 何种自适应机制可动态平衡事件包大小与处理时间，以防止系统过载？
• RQ3 随机事件过滤在降低计算负载的同时，对维持算法性能的有效性如何？
• RQ4 在事件速率快速变化的高度动态运动条件下，所提出的方案能否保持实时处理？
• RQ5 在场景复杂度多变的真实无人机场景中，自适应打包方案的性能表现如何？

主要发现

• ASAP 通过确保事件包中最新事件与最旧事件之间的时间差为负值，成功维持了实时处理，保证每个事件包在下一个到达前被处理完毕。
• 在高度剧烈运动的实验中，当事件速率超过 5×10⁶ 个事件/秒时，系统将 γ 动态调整为 1 以下的值，成功防止了溢出。
• 机载无人机实验表明，事件速率从未超过阈值 a = 5×10⁶，全程无需过滤（γ = 1）即可完整处理事件流。
• 自适应包大小机制使处理时间与事件包时间同步，最小化延迟并确保响应性。
• 该方案在动态环境中表现出强健性，例如在多个椅子上方飞行时，尽管事件速率上升，但仍保持在处理能力范围内。
• 在高事件速率下使用随机事件过滤，在显著降低计算负载的同时有效保持了算法性能，该结论已在先前工作 [11] 中得到验证。