[论文解读] SNE: an Energy-Proportional Digital Accelerator for Sparse Event-Based Convolutions

Alfio Di Mauro, Arpan Suravi Prasad+4 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Memory and Neural Computing被引用 3

一句话总结

该论文提出SNE，一种数字脉冲神经形态加速器，通过显式编码时间与空间事件位置，实现稀疏事件驱动卷积神经网络（eCNNs）的能量成比例推理。其在IBM DVS-Gesture数据集上实现了92.8%的准确率，能量效率达4.54 TOP/s/W，每操作功耗仅0.221 pJ/SOP，为目前数字脉冲神经形态平台中最低的每操作功耗，创下新纪录。

ABSTRACT

Event-based sensors are drawing increasing attention due to their high temporal resolution, low power consumption, and low bandwidth. To efficiently extract semantically meaningful information from sparse data streams produced by such sensors, we present a 4.5TOP/s/W digital accelerator capable of performing 4-bits-quantized event-based convolutional neural networks (eCNN). Compared to standard convolutional engines, our accelerator performs a number of operations proportional to the number of events contained into the input data stream, ultimately achieving a high energy-to-information processing proportionality. On the IBM-DVS-Gesture dataset, we report 80uJ/inf to 261uJ/inf, respectively, when the input activity is 1.2% and 4.9%. Our accelerator consumes 0.221pJ/SOP, to the best of our knowledge it is the lowest energy/OP reported on a digital neuromorphic engine.

研究动机与目标

• 为解决传统加速器在处理事件传感器产生的稀疏、异步事件流时能量效率低下的问题。
• 实现能量成比例计算，使运算量随输入活动量动态调整，保持能量与信息之间的比例关系。
• 设计一种数字加速器，最大化数据与权重复用，同时最小化稀疏脉冲神经网络中的内存访问流量。
• 在不牺牲事件驱动基准测试准确率的前提下，实现数字脉冲神经形态平台的最先进能量效率。

提出的方法

• SNE显式编码输入事件的时间与空间坐标，以减少内存占用并提升数据复用效率。
• 该架构在密集计算阶段执行同步并行计算，对稀疏输入时间间隔进行压缩。
• 采用可配置拓扑结构的4位定点量化eCNN推理引擎，支持卷积与池化层。
• 加速器采用流水线化、类似Systolic的处理阵列，高效处理稀疏激活与权重。
• SNE通过仅在事件到达时选择性地更新神经元状态，最小化内存访问，减少冗余运算。
• 该设计针对22nm数字工艺优化，在400MHz下实现高性能与低功耗的平衡。

实验结果

研究问题

• RQ1 数字脉冲神经形态加速器能否实现对稀疏事件驱动数据流的能量成比例计算？
• RQ2 在保持高准确率的前提下，数字eCNN加速器可实现的最低每操作功耗是多少？
• RQ3 显式事件编码在稀疏SNN推理中如何提升内存效率与计算吞吐量？
• RQ4 数字加速器在多大程度上可匹配模拟脉冲神经形态平台的能量效率？
• RQ5 在稀疏、非结构化数据工作负载下，数字加速器能否实现与传统DNN加速器相当的最先进能量效率？

主要发现

• SNE实现4.54 TOP/s/W的能量效率，相比现有最先进脉冲神经形态平台（Pei et al., 2021）提升3.55倍。
• 该加速器仅消耗0.221 pJ/SOP，为迄今所有数字脉冲神经形态平台中最低的每操作功耗。
• 在IBM DVS-Gesture数据集上，SNE实现92.8%的分类准确率，推理功耗范围为80 µJ/inf（1.2%活动度）至261 µJ/inf（4.9%活动度）。
• 在400MHz下，SNE的推理速率根据输入活动度在141 inf/s（最佳情况）至43 inf/s（最差情况）之间变化。
• 尽管输入流稀疏，SNE仍可实现高达51.2 GSOP/s的吞吐量，展现出高并行处理能力。
• 即使在0.9V供电下，SNE仍保持高能量效率，实现4.03 TOP/s/W与0.248 pJ/SOP的性能。