[论文解读] AEGNN: Asynchronous Event-based Graph Neural Networks

Simon Schaefer, Daniel Gehrig+1 more|arXiv (Cornell University)|Mar 31, 2022

Advanced Memory and Neural Computing被引用 4

一句话总结

AEGNN 提出了一种新颖的图神经网络框架，将异步事件作为动态演变的时空图进行处理，每次事件仅更新受影响的节点，从而大幅降低计算量和延迟。与标准 GNN 相比，AEGNN 在物体分类和检测任务上实现了高达 11 倍的 FLOPs 减少和 8 倍的延迟降低，同时性能达到或超过当前最先进水平。

ABSTRACT

The best performing learning algorithms devised for event cameras work by first converting events into dense representations that are then processed using standard CNNs. However, these steps discard both the sparsity and high temporal resolution of events, leading to high computational burden and latency. For this reason, recent works have adopted Graph Neural Networks (GNNs), which process events as ``static" spatio-temporal graphs, which are inherently "sparse". We take this trend one step further by introducing Asynchronous, Event-based Graph Neural Networks (AEGNNs), a novel event-processing paradigm that generalizes standard GNNs to process events as ``evolving" spatio-temporal graphs. AEGNNs follow efficient update rules that restrict recomputation of network activations only to the nodes affected by each new event, thereby significantly reducing both computation and latency for event-by-event processing. AEGNNs are easily trained on synchronous inputs and can be converted to efficient, "asynchronous" networks at test time. We thoroughly validate our method on object classification and detection tasks, where we show an up to a 11-fold reduction in computational complexity (FLOPs), with similar or even better performance than state-of-the-art asynchronous methods. This reduction in computation directly translates to an 8-fold reduction in computational latency when compared to standard GNNs, which opens the door to low-latency event-based processing.

研究动机与目标

• 解决使用标准 CNN 和 GNN 处理事件相机数据时计算成本高和延迟大的问题。
• 通过实现局部化、事件驱动的更新机制，克服每次事件都重新计算完整网络激活所导致的低效问题。
• 在保持事件数据的高时间分辨率和稀疏性的同时，实现高效推理，以支持实时应用。
• 实现在批量事件上进行训练并以异步方式部署，且性能无损失。
• 通过高效的增量更新机制，将标准 GNN 扩展以处理事件流的动态、演化特性。

提出的方法

• 将事件表示为时空图，其中节点对应像素，边表示空间邻近性，特征编码强度变化。
• 引入一种异步更新规则，仅重新计算受新事件影响的节点激活值，最大限度减少冗余计算。
• 使用 SplineConv 层将空间几何信息融入图卷积，通过伪坐标和 B 样条基函数提升特征表示能力。
• 在批量事件数据上使用标准反向传播进行网络训练，然后在测试时转换为异步推理模式。
• 在识别和检测架构中均应用最大池化和跳跃连接，以改善特征层次结构和梯度流动。
• 通过利用事件的稀疏性并避免每次事件后都进行完整前向传播，优化计算复杂度。

实验结果

研究问题

• RQ1 图神经网络能否被推广以处理事件作为动态演变的时空图，而非静态图？
• RQ2 与完整重计算相比，GNN 中的局部化、事件驱动更新是否能显著降低计算复杂度和推理延迟？
• RQ3 所提出的异步更新机制是否能在事件感知视觉任务上保持或提升性能，相比当前最先进方法？
• RQ4 在批量事件上训练的模型是否能有效部署于异步、逐事件推理模式下而无性能下降？
• RQ5 在深度学习架构中，事件数据的稀疏性和高时间分辨率能在多大程度上被保留并加以利用？

主要发现

• AEGNN 在物体分类和检测任务上，与标准 GNN 相比，FLOPs 最多降低 11 倍。
• 该方法相比标准 GNN 实现了 8 倍的计算延迟降低，支持实时处理。
• 尽管计算量显著降低，AEGNN 在物体分类和检测任务上的性能仍与当前最先进异步方法相当或更优。
• 模型在批量训练后以异步模式部署时，输出保持完全一致，确保了训练与推理模式之间的统一性。
• 结合 B 样条基函数和伪坐标的 SplineConv 层通过编码邻近事件之间的空间关系，提升了特征表示能力。
• 跳跃连接和最大池化的使用增强了特征学习和梯度流动，有助于在复杂任务上实现稳健性能。