[论文解读] ABMOF: A Novel Optical Flow Algorithm for Dynamic Vision Sensors

Min Liu, Tobi Delbrück|arXiv (Cornell University)|May 10, 2018

Robotics and Sensor-Based Localization参考文献 3被引用 10

一句话总结

本文提出ABMOF，一种用于动态视觉传感器（DVS）的事件驱动光流算法，通过自适应时间片旋转和反馈控制的时间片持续时间，提升光流估计精度与硬件效率。其性能与自然场景下的Lucas-Kanade方法相当，同时支持紧凑、无乘法器的FPGA实现。

ABSTRACT

Dynamic Vision Sensors (DVS), which output asynchronous log intensity change events, have potential applications in high-speed robotics, autonomous cars and drones. The precise event timing, sparse output, and wide dynamic range of the events are well suited for optical flow, but conventional optical flow (OF) algorithms are not well matched to the event stream data. This paper proposes an event-driven OF algorithm called adaptive block-matching optical flow (ABMOF). ABMOF uses time slices of accumulated DVS events. The time slices are adaptively rotated based on the input events and OF results. Compared with other methods such as gradient-based OF, ABMOF can efficiently be implemented in compact logic circuits. Results show that ABMOF achieves comparable accuracy to conventional standards such as Lucas-Kanade (LK). The main contributions of our paper are new adaptive time-slice rotation methods that ensure the generated slices have sufficient features for matching,including a feedback mechanism that controls the generated slices to have average slice displacement within the block search range. An LK method using our adapted slices is also implemented. The ABMOF accuracy is compared with this LK method on natural scene data including sparse and dense texture, high dynamic range, and fast motion exceeding 30,000 pixels per second.The paper dataset and source code are available from http://sensors.ini.uzh.ch/databases.html.

研究动机与目标

• 解决传统光流算法在应用于异步、稀疏、高动态范围的DVS事件流时的局限性。
• 在高速运动、低照度及极端光照变化等挑战性条件下，提升光流估计的精度。
• 通过设计逻辑友好、无乘法器的算法，实现FPGA上高效、低功耗的光流硬件实现。
• 开发自适应时间片生成机制，确保在不同运动特性下均保留足够的特征内容以支持块匹配。

提出的方法

• 根据局部运动特性自适应旋转累积的DVS事件时间片，以保留特征内容并减少孔径效应。
• 实现反馈控制机制，动态调整时间片持续时间，确保平均匹配位移保持在块搜索范围的一半以内。
• 引入自适应事件跳过机制，在不丢弃传感器数据的前提下避免冗余计算，提升流水线效率。
• 采用多尺度时间片以扩展可测量速度范围，并增强对噪声和低频运动的鲁棒性。
• 在块匹配中使用菱形搜索而非全搜索，将12像素搜索范围的计算成本降低约14倍。
• 将自适应时间片集成至基于Lucas-Kanade的方法中（ABMOF_LK），用于性能对比与时间片质量验证。

实验结果

研究问题

• RQ1 与固定持续时间的时间片相比，自适应时间片旋转与持续时间控制是否能提升DVS事件流上的光流估计精度？
• RQ2 在高速或变速运动场景中，时间片持续时间的反馈机制在多大程度上提升了性能？
• RQ3 多尺度时间片方法如何扩展DVS上光流估计的可测量速度范围？
• RQ4 自适应时间片生成方法是否能生成高质量图像，适用于Lucas-Kanade等基于帧的光流算法？
• RQ5 在面向FPGA部署的事件驱动光流算法中，光流精度与硬件效率之间的权衡如何？

主要发现

• ABMOF在自然场景数据上的光流估计精度与Lucas-Kanade方法相当，涵盖稀疏与密集纹理、高动态范围，以及超过30,000像素/秒的高速运动。
• 自适应时间片持续时间反馈机制确保平均匹配位移始终位于块搜索范围内，提升了算法的鲁棒性与精度。
• 在搜索距离r=4且采用三尺度的情况下，ABMOF可实现每轴±32像素的光流估计范围，覆盖复杂相机运动。
• 该算法可测量超过10,000像素/秒的速度，此前仅高阶游戏鼠标传感器可实现。
• FPGA资源估算显示，ABMOF可在中等规模FPGA（如Xilinx Zynq-7000 XC7Z100）上实现，仅使用6%的触发器与36%的LUT，支持紧凑、低功耗部署。
• 与固定持续时间的时间片相比，自适应时间片显著提升了块匹配与Lucas-Kanade方法的性能，证明了其质量与鲁棒性。