[论文解读] Digital Multiplier-less Event-Driven Spiking Neural Network Architecture for Learning a Context-Dependent Task

Hajar Asgari, Babak Mazloom‐Nezhad Maybodi+2 more|arXiv (Cornell University)|Jun 24, 2019

Advanced Memory and Neural Computing参考文献 45被引用 5

一句话总结

本文提出了一种在FPGA上实现的数字、无乘法器事件驱动脉冲神经网络（SNN）架构，通过强化学习（RL）实现上下文依赖的刺激-反应关联学习。通过消除乘法器并采用基于状态机的LIF神经元模型与STDP可塑性，该系统实现了硬件效率，并在100次试验内成功复现了计算模型和动物实验的行为表现，验证了其在机器人闭环系统中的有效性。

ABSTRACT

Neuromorphic engineers aim to develop event-based spiking neural networks (SNNs) in hardware. These SNNs closer resemble dynamics of biological neurons than todays' artificial neural networks and achieve higher efficiency thanks to the event-based, asynchronous nature of processing. Learning in SNNs is more challenging, however. Since conventional supervised learning methods cannot be ported on SNNs due to the non-differentiable event-based nature of their activation, learning in SNNs is currently an active research topic. Reinforcement learning (RL) is particularly promising method for neuromorphic implementation, especially in the field of autonomous agents' control, and is in focus of this work. In particular, in this paper we propose a new digital multiplier-less hardware implementation of an SNN. We show how this network can learn stimulus-response associations in a context-dependent task through a RL mechanism. The task is inspired by biological experiments used to study RL in animals. The architecture is described using the standard digital design flow and uses power- and space-efficient cores. We implement the behavioral experiments using a robot, to show that learning in hardware also works in a closed sensorimotor loop.

研究动机与目标

• 开发一种适用于自主系统类脑计算的低功耗、面积高效的数字SNN硬件架构。
• 在不依赖计算成本高昂的乘法器或可微分激活函数的前提下，实现在SNN中的强化学习。
• 在数字、事件驱动框架中实现一种生物上合理的学习机制——突触时序可塑性（STDP）。
• 在真实世界的机器人传感运动环路中验证硬件实现，展示对上下文依赖关联的在线学习能力。
• 弥合动物强化学习行为的计算模型与物理类脑硬件系统之间的差距。

提出的方法

• 采用状态机图方法设计无乘法器的LIF神经元模型，以避免指数运算和乘法运算。
• 实现一种简化的高精度STDP基突触可塑性规则，避免饱和并实现稳定的权重更新。
• 使用带有阈值裕量的赢家通吃（WTA）机制，提升隐藏层和输出层中胜者选择的准确性。
• 使用标准数字设计流程将SNN架构映射到FPGA（Xilinx Kintex-7）上，以实现可重构性和高效性。
• 在闭环传感运动系统中将基于FPGA的SNN与机器人智能体（Pushbot）连接，使用闪烁的LED作为上下文刺激。
• 通过脉冲时间编码刺激，并利用奖励信号通过强化学习更新规则调节突触权重。

实验结果

研究问题

• RQ1 无乘法器的数字SNN架构能否实现上下文依赖任务强化学习的高效硬件实现？
• RQ2 与计算模型和生物实验相比，该硬件实现的学习性能和动力学特性如何？
• RQ3 具有事件驱动处理和STDP学习的数字SNN在多大程度上能复现动物在上下文依赖任务中的行为？
• RQ4 哪些关键设计参数（如位宽、初始权重随机性、LTP/LTD值、阈值裕量）影响收敛性和稳定性？
• RQ5 物理机器人系统能否仅通过事件触发的脉冲信号和强化反馈成功学习刺激-上下文关联？

主要发现

• 硬件实现的SNN在100次试验内成功学习了上下文依赖任务，其结果与计算模型和动物实验结果一致。
• 系统仅使用32位定点表示处理所有数值，确保了稳定性并防止溢出。
• 在WTA网络中引入阈值裕量显著提升了胜者选择的精度，并促进了可靠的学习结果。
• 通过足够位深的随机初始化突触权重，增强了网络的收敛能力并避免陷入局部极小值。
• 机器人实验展示了成功的在线学习：Pushbot能够根据高度（上下文）区分刺激，并独立于物品位置学习正确动作。
• 无乘法器设计显著降低了面积和功耗，相比传统SNN实现，显著提升了FPGA部署效率。