[论文解读] Temporally Efficient Deep Learning with Spikes

Peter O’Connor, Efstratios Gavves+1 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Memory and Neural Computing参考文献 11被引用 11

一句话总结

本文提出一种时间高效的深度学习框架，其中神经元通过传递其激活值及其时间导数的组合实现通信，使计算量随数据变化率而非处理频率而变化。该方法产生一种类似脉冲时间依赖可塑性（STDP）的生物启发学习规则，在MNIST和时序MNIST数据集上实现与标准反向传播网络相当的性能，同时显著降低计算量，尤其在乘法运算成本较高的硬件上优势明显。

ABSTRACT

The vast majority of natural sensory data is temporally redundant. Video frames or audio samples which are sampled at nearby points in time tend to have similar values. Typically, deep learning algorithms take no advantage of this redundancy to reduce computation. This can be an obscene waste of energy. We present a variant on backpropagation for neural networks in which computation scales with the rate of change of the data - not the rate at which we process the data. We do this by having neurons communicate a combination of their state, and their temporal change in state. Intriguingly, this simple communication rule give rise to units that resemble biologically-inspired leaky integrate-and-fire neurons, and to a weight-update rule that is equivalent to a form of Spike-Timing Dependent Plasticity (STDP), a synaptic learning rule observed in the brain. We demonstrate that on MNIST and a temporal variant of MNIST, our algorithm performs about as well as a Multilayer Perceptron trained with backpropagation, despite only communicating discrete values between layers.

研究动机与目标

• 通过利用视频或音频等感官数据中的时间冗余，降低深度学习的计算成本。
• 设计一种神经网络层间通信机制，使其根据输入数据的变化速率自适应调整，而非以固定帧率处理。
• 开发一种可微分的训练算法，在使用稀疏、量化后的脉冲样信号的同时保持准确率。
• 建立所提方法与生物可实现的学习规则（如STDP）之间的联系。
• 证明该方法在显著减少计算操作次数的同时实现具有竞争力的性能表现，尤其在能效受限的硬件上。

提出的方法

• 神经元将激活值编码为当前值（比例分量）与时间差分（导数分量）的线性组合，使用参数kp和kd。
• 编码函数（公式4）确保仅传输激活值的变化，从而实现通信的时间稀疏性。
• 解码机制（公式5）通过指数衰减的时间平均重建原始激活值，模拟漏电积分-放电行为。
• 对组合信号应用Sigma-Delta量化（Q函数，公式3），生成保持信号完整性的离散脉冲样输出。
• 通过时间反向传播推导权重更新，得到一种等价于某种形式脉冲时间依赖可塑性（STDP）的学习规则。
• 在MNIST及其时序变体上训练网络，并基于算术成本模型估算操作次数与能耗。

实验结果

研究问题

• RQ1 能否通过根据输入数据的变化速率而非固定帧率进行处理，使深度学习网络更具计算效率？
• RQ2 基于激活值及其时间导数的通信机制是否能在深层网络中实现稳定且准确的训练？
• RQ3 此类机制是否能自然地引出生物上合理的神经动力学行为，如漏电整合与放电？
• RQ4 所得到的权重更新规则是否等价于已知的突触可塑性规则（如STDP）？
• RQ5 该方法能否在显著减少计算操作次数的同时实现与标准反向传播网络相当的性能表现，尤其在能效受限的硬件上？

主要发现

• 所提出的比例-导数神经网络（PDNN）在MNIST测试集上达到98.36%的准确率，略高于标准多层感知机（MLP）的98.25%。
• 在时序MNIST数据集上，PDNN达到97.99%的测试准确率，而MLP为98.28%，表明在需要处理时序信息的数据上存在轻微性能下降，需进一步研究。
• PDNN在时序MNIST上仅需15⋅10^12次操作，而标准MNIST需32⋅10^12次，表明在时间冗余数据上计算量显著降低。
• 该方法在乘法运算昂贵的硬件上优势更明显——估计乘法操作耗能32pJ，而加法仅0.1pJ，使其在低功耗系统中极具效率。
• 推导出的权重更新规则在数学上等价于一种形式的脉冲时间依赖可塑性（STDP），将该方法与生物学习机制联系起来。
• 在解码规则下，网络神经元自然表现出漏电积分-放电单元的行为，表明其具有生物上合理的动力学特性。