[论文解读] Deep counter networks for asynchronous event-based processing

Jonathan Binas, Giacomo Indiveri+1 more|arXiv (Cornell University)|Nov 2, 2016

Advanced Memory and Neural Computing参考文献 6被引用 4

一句话总结

本文提出深度计数神经网络——一种仅使用加法和比较运算的极简脉冲神经网络，可在显著降低计算成本的前提下实现最先进的MNIST分类准确率。通过用事件驱动的计数神经元替代传统乘法运算，该模型实现了低功耗、异步且稀疏的处理方式，收敛速度更快，所需运算次数少于以往基于转换的脉冲网络。

ABSTRACT

Despite their advantages in terms of computational resources, latency, and power consumption, event-based implementations of neural networks have not been able to achieve the same performance figures as their equivalent state-of-the-art deep network models. We propose counter neurons as minimal spiking neuron models which only require addition and comparison operations, thus avoiding costly multiplications. We show how inference carried out in deep counter networks converges to the same accuracy levels as are achieved with state-of-the-art conventional networks. As their event-based style of computation leads to reduced latency and sparse updates, counter networks are ideally suited for efficient compact and low-power hardware implementation. We present theory and training methods for counter networks, and demonstrate on the MNIST benchmark that counter networks converge quickly, both in terms of time and number of operations required, to state-of-the-art classification accuracy.

研究动机与目标

• 为解决传统深度神经网络在硬件实现中乘法运算带来的高计算成本问题。
• 开发一种脉冲神经网络模型，在保持帧基网络准确率的同时，实现高效、异步、事件驱动的计算。
• 通过确保与帧基推理的精确等价性，消除现有脉冲网络转换方法中常见的近似误差。
• 仅使用加法和比较运算，实现紧凑、低功耗的硬件部署，适用于事件传感器和实时处理。

提出的方法

• 提出计数神经元作为仅使用加法和比较的极小脉冲单元，避免昂贵的乘法运算。
• 采用二值激活模型，当净输入超过阈值时神经元输出为1，否则为0，并在反向传播中使用可微分的Sigmoid近似进行训练。
• 通过离散化ReLU函数将模型扩展至非二值激活，以提升动态范围并减少所需运算量。
• 采用帧基训练流程，使用高分辨率权重和激活计算梯度，确保与传统网络的等价性。
• 以异步、增量方式处理输入数据，输出在接收足够输入事件后立即生成。
• 训练阶段使用基于高分辨率参数的随机梯度下降进行权重更新，而推理阶段则采用低精度整数运算。

实验结果

研究问题

• RQ1 能否设计一种脉冲神经网络，精确复现帧基深度网络的推理过程，且无近似误差？
• RQ2 仅使用加法和比较运算的事件处理方式，能否在MNIST上实现最先进的准确率，且运算次数显著减少？
• RQ3 与传统帧基网络相比，计数神经网络的异步、事件驱动特性如何影响推理速度和计算效率？
• RQ4 计数神经元模型能否扩展至非二值激活，同时保持计算效率和准确率？
• RQ5 在事件处理下，全连接与卷积架构的网络性能表现有何差异？

主要发现

• 计数神经网络仅使用加法和比较运算即达到最先进的MNIST分类准确率，完全无需乘法运算。
• 基于离散化ReLU的扩展计数神经元模型将每幅图像所需运算量减少至不足500,000个事件，优于以往基于转换的方法（需超过100万个事件）。
• 网络在输入到达后数秒内即可完成正确分类，99%的测试图像在完整输入模式呈现前即完成分类。
• 基本计数模型中，二值神经元因饱和而早期发出大部分事件；而具有ReLU类动态的扩展模型则逐步提升活动，实现更高效的运行。
• 尽管架构不同，全连接与卷积计数网络在性能趋势上表现相似，更深的网络为达到相同准确率需要更多运算。
• 该系统支持低延迟、稀疏更新的实时推理，非常适合与事件传感器配合，实现低功耗、紧凑的硬件部署。