[论文解读] Graph-based Asynchronous Event Processing for Rapid Object Recognition

Yijin Li, Han Zhou+5 more|arXiv (Cornell University)|Aug 28, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出SlideGCN，一种基于图的异步事件处理框架，通过引入增量图卷积和针对事件云的专用半径搜索，实现了高效的、逐事件的实时识别。与朴素的滑动窗口方法相比，其计算复杂度降低了高达100倍，同时实现了最先进水平的准确率，并支持以高置信度实现早期识别。

ABSTRACT

Different from traditional video cameras, event cameras capture asynchronous events stream in which each event encodes pixel location, trigger time, and the polarity of the brightness changes. In this paper, we introduce a novel graph-based framework for event cameras, namely SlideGCN. Unlike some recent graph-based methods that use groups of events as input, our approach can efficiently process data event-by-event, unlock the low latency nature of events data while still maintaining the graph's structure internally. For fast graph construction, we develop a radius search algorithm, which better exploits the partial regular structure of event cloud against k-d tree based generic methods. Experiments show that our method reduces the computational complexity up to 100 times with respect to current graph-based methods while keeping state-of-the-art performance on object recognition. Moreover, we verify the superiority of event-wise processing with our method. When the state becomes stable, we can give a prediction with high confidence, thus making an early recognition. Project page: \url{https://zju3dv.github.io/slide_gcn/}.

研究动机与目标

• 解决事件识别中低延迟与高准确率之间的权衡问题。
• 在不牺牲性能的前提下，实现图方法中的真正逐事件处理。
• 降低稀疏、异步事件流在图构建与推理过程中的计算复杂度。
• 通过在事件处理过程中检测稳定预测状态并以高置信度触发，实现早期识别。
• 设计一种针对事件云2D网格结构的半径搜索算法，以加快图构建速度。

提出的方法

• 提出滑动卷积（slide convolution），一种增量图卷积方法，重用先前图状态的特征，仅更新新添加节点周围的特征。
• 推导多层GCN的传播规则，以在时间步长变化的动态图拓扑中实现最小化重新计算的处理。
• 提出基于像素队列的半径搜索算法，利用事件云的2D网格结构，将搜索成本降低一半，并实现O(1)的插入/删除操作。
• 采用状态感知模块，监控预测置信度，并在预测状态稳定时触发早期识别。
• 采用滑动窗口策略结合递归图更新，以在最小化冗余计算的同时保持时间一致性。
• 将逐事件处理与图神经网络结合，以保留事件数据的稀疏性与时间分辨率。

实验结果

研究问题

• RQ1 图方法能否在不损害识别准确率的前提下实现低延迟、逐事件处理？
• RQ2 如何使图卷积实现增量处理，以降低动态事件流中的计算成本？
• RQ3 针对2D事件云的专用半径搜索算法能否显著加速图构建？
• RQ4 与批处理方法相比，逐事件处理是否能实现更早且更自信的识别？
• RQ5 在事件识别中，延迟、计算成本与准确率之间的权衡关系如何？

主要发现

• 与朴素的滑动窗口图卷积方法相比，SlideGCN将计算复杂度降低了高达100倍。
• 在基于流的对象识别任务中，SlideGCN实现了最先进水平的准确率（0.669），与使用50ms窗口的批处理方法（0.761）相当。
• SlideGCN实现了高置信度的早期识别，响应时间为12ms（事件索引3118），而批处理方法需50ms（事件索引19154）。
• 所提出的半径搜索算法通过利用事件云的2D网格结构，将搜索时间减少50%，并将插入/删除成本降低至O(1)。
• 逐事件处理的累计MFLOPS为17,711（小批量大小为1），高于批处理方式的1,152，但显著降低了延迟。
• 当小批量大小为100时，SlideGCN在低延迟与计算负载之间实现了良好平衡，为实际的实时部署提供了实用的权衡方案。