[论文解读] Fast and deep: energy-efficient neuromorphic learning with first-spike times

Julian Göltz, Laura Kriener+10 more|arXiv (Cornell University)|Dec 24, 2019

Advanced Memory and Neural Computing参考文献 78被引用 18

一句话总结

本文提出了一种受生物学启发的、能效高效的脉冲神经网络学习规则，利用首次放电时间进行误差反向传播，实现快速且低能耗的计算。该方法仅使用突触前和突触后神经元的放电时间，即可实现精确学习，在BrainScaleS-2类脑硬件平台上验证了其在硬件引入失真下的鲁棒性能。

ABSTRACT

For a biological agent operating under environmental pressure, energy consumption and reaction times are of critical importance. Similarly, engineered systems also strive for short time-to-solution and low energy-to-solution characteristics. At the level of neuronal implementation, this implies achieving the desired results with as few and as early spikes as possible. In the time-to-first-spike-coding framework, both of these goals are inherently emerging features of learning. Here, we describe a rigorous derivation of learning such first-spike times in networks of leaky integrate-and-fire neurons, relying solely on input and output spike times, and show how it can implement error backpropagation in hierarchical spiking networks. Furthermore, we emulate our framework on the BrainScaleS-2 neuromorphic system and demonstrate its capability of harnessing the chip's speed and energy characteristics. Finally, we examine how our approach generalizes to other neuromorphic platforms by studying how its performance is affected by typical distortive effects induced by neuromorphic substrates.

研究动机与目标

• 通过利用首次放电时间，开发一种最小化脉冲神经网络能量消耗和求解时间的学习规则。
• 仅使用输入和输出神经元的放电时间，实现在分层脉冲神经网络中的误差反向传播。
• 在BrainScaleS-2类脑硬件平台上展示该方法的可行性和鲁棒性。
• 评估该方法在典型硬件引入失真下，跨不同类脑硬件平台的泛化能力。

提出的方法

• 该学习规则从基本原理严格推导得出，仅依赖于突触前和突触后神经元首次放电的时间。
• 突触权重更新基于突触前与突触后首次放电时间的差异，实现局部且符合生物学原理的学习。
• 通过时间到首次放电编码方式，实现误差信号在时间维度上的传播，支持分层网络的训练。
• 在BrainScaleS-2类脑系统上实现并仿真该框架，以充分利用其高速和低能耗特性。
• 在典型硬件失真（如突触可变性和时间抖动）下评估该方法，以测试其鲁棒性。

实验结果

研究问题

• RQ1 仅依靠首次放电时间是否足以在脉冲神经网络中实现有效的误差反向传播？
• RQ2 所提出的学習规则如何在脉冲网络中实现低能耗和快速推理？
• RQ3 该方法在BrainScaleS-2类脑硬件平台上部署时的性能如何？
• RQ4 在典型硬件基底引入的失真下，该方法在不同类脑平台上的泛化能力如何？
• RQ5 在存在时间抖动和突触噪声等硬件缺陷的情况下，该学习规则能否保持准确性？

主要发现

• 所提出的学习规则成功实现了在分层脉冲神经网络中仅使用首次放电时间的误差反向传播，无需额外信号或复杂计算。
• 该方法通过最小化计算所需的脉冲数量和放电时间，实现了快速学习和低能耗消耗。
• 在BrainScaleS-2上的仿真结果表明，该框架充分利用了芯片的高速和高能效特性，实现了具有竞争力的性能。
• 该方法在典型类脑硬件失真（如时间抖动和突触可变性）下仍保持鲁棒性，显示出强大的泛化潜力。
• 该框架实现了脉冲神经网络中能效高效的训练与推理，符合生物和工程在能耗与延迟方面的约束。