[论文解读] EventNet: Asynchronous Recursive Event Processing

Yusuke Sekikawa, Kosuke O. Hara+1 more|arXiv (Cornell University)|Dec 7, 2018

Advanced Memory and Neural Computing参考文献 30被引用 4

一句话总结

EventNet 是一种递归的、事件驱动的神经网络，通过使用新颖的时间编码方案和多层感知机（MLPs）的查表（LUT）替代方法，实现了对事件相机异步事件流的实时处理。它在标准 CPU 上实现了每秒处理超过 100 万个事件的速度，支持低延迟、非冗余的推理，适用于语义分割和运动估计等应用。

ABSTRACT

Event cameras are bio-inspired vision sensors that mimic retinas to asynchronously report per-pixel intensity changes rather than outputting an actual intensity image at regular intervals. This new paradigm of image sensor offers significant potential advantages; namely, sparse and non-redundant data representation. Unfortunately, however, most of the existing artificial neural network architectures, such as a CNN, require dense synchronous input data, and therefore, cannot make use of the sparseness of the data. We propose EventNet, a neural network designed for real-time processing of asynchronous event streams in a recursive and event-wise manner. EventNet models dependence of the output on tens of thousands of causal events recursively using a novel temporal coding scheme. As a result, at inference time, our network operates in an event-wise manner that is realized with very few sum-of-the-product operations---look-up table and temporal feature aggregation---which enables processing of 1 mega or more events per second on standard CPU. In experiments using real data, we demonstrated the real-time performance and robustness of our framework.

研究动机与目标

• 解决基于帧的深度学习模型（如卷积神经网络，CNNs）在处理事件相机产生的稀疏、异步事件数据时的低效问题。
• 通过设计仅实时处理变化像素的网络，克服密集、同步处理带来的计算冗余。
• 通过将事件驱动的特征更新与按需输出计算解耦，实现低延迟的实时推理。
• 开发一种递归架构，高效建模跨越数万个因果事件的长期时间依赖性。
• 通过真实事件数据，证明其在语义分割、目标运动估计和自身运动估计等实际视觉任务中的适用性。

提出的方法

• 使用复杂的时序编码层递归建模时间依赖性，该层结合相位旋转和复数最大池化。
• 在推理阶段，用学习得到的查表（LUT）替代计算量大的多层感知机（MLPs），显著减少乘加运算次数。
• 将网络分解为两个异步模块：一个用于事件驱动的全局特征更新，另一个用于最终输出预测。
• 在按需模块中使用轻量级 MLP，仅在请求时计算最终预测，避免不必要的计算。
• 在所有层（输出层除外）应用批量归一化，以稳定训练并提高泛化能力。
• 通过最大池化实现排列不变性，以处理无序事件输入，受 PointNet 启发，但针对时间事件流进行了适配。

实验结果

研究问题

• RQ1 神经网络能否在不将输入数据密集化的情况下，以事件驱动的递归方式处理异步事件流？
• RQ2 如何在不产生高计算成本的前提下，高效建模高频率事件流中的长期时间依赖性？
• RQ3 与简单的衰减或无时间建模相比，显式时间编码（通过复数相位旋转实现）在性能提升方面有多大优势？
• RQ4 能否通过基于查表的分解方法，完全消除标准 MLP 在事件神经网络中的计算瓶颈，同时不损失精度？
• RQ5 是否能够在标准 CPU 上，通过递归的事件驱动架构实现每秒处理 100 万个事件以上的实时推理（1+ MHz）？

主要发现

• EventNet 在标准 CPU 上实现了每秒处理超过 100 万个事件（MEPS），证明了其对高频率事件流的实时处理能力。
• 基于 LUT 的 MLP 替代方法显著减少了乘加运算次数，实现了低延迟的高效事件驱动处理。
• 按需推理模块对请求的响应频率达到 1 kHz 或更高，证实了其低延迟输出生成能力。
• 不使用时间衰减的 EventNet 无法满足递归约束，尽管其运动估计精度最高，但仍无法实现实时处理 1 MEPS。
• 不使用时间旋转的 EventNet 比完整模型更快，但性能下降，表明复数相位旋转对于捕捉时间动态至关重要。
• 不进行任何时间编码的变体（等价于无时间戳输入的 PointNet）表现最差，且无法实现实时运行，凸显了时间编码在可扩展性和性能方面的重要性。