[论文解读] Efficient Implementation of a Multi-Layer Gradient-Free Online-Trainable Spiking Neural Network on FPGA

Ali Mehrabi, Yeshwanth Bethi+3 more|arXiv (Cornell University)|May 31, 2023

Advanced Memory and Neural Computing被引用 4

一句话总结

本论文首次实现了优化深度事件驱动脉冲神经网络架构（ODESA）的FPGA部署，支持无需反向传播的多层、梯度自由、在线监督训练，并采用硬件优化的权重与阈值更新机制。系统采用基于事件的二值脉冲信号、局部学习规则及固定步长更新，仅以极低的硬件开销在IRIS数据集上实现了86.6%的准确率，展示了在资源受限边缘设备上接近软件性能的表现。

ABSTRACT

This paper presents an efficient hardware implementation of the recently proposed Optimized Deep Event-driven Spiking Neural Network Architecture (ODESA). ODESA is the first network to have end-to-end multi-layer online local supervised training without using gradients and has the combined adaptation of weights and thresholds in an efficient hierarchical structure. This research shows that the network architecture and the online training of weights and thresholds can be implemented efficiently on a large scale in hardware. The implementation consists of a multi-layer Spiking Neural Network (SNN) and individual training modules for each layer that enable online self-learning without using back-propagation. By using simple local adaptive selection thresholds, a Winner-Takes-All (WTA) constraint on each layer, and a modified weight update rule that is more amenable to hardware, the trainer module allocates neuronal resources optimally at each layer without having to pass high-precision error measurements across layers. All elements in the system, including the training module, interact using event-based binary spikes. The hardware-optimized implementation is shown to preserve the performance of the original algorithm across multiple spatial-temporal classification problems with significantly reduced hardware requirements.

研究动机与目标

• 在无需反向传播的情况下，实现在资源受限硬件上的高效、实时、在线多层脉冲神经网络训练。
• 实现一种生物可解释的、局部的学习规则，避免非因果误差反向传播与连续值梯度的使用。
• 通过采用固定步长更新与整数运算，降低硬件复杂度，同时保持分类准确率。
• 在神经形态边缘设备中实现芯片内、事件驱动、异步学习，用于流式模式检测。
• 在标准基准数据集上，将硬件实现与软件版本的ODESA进行验证对比。

提出的方法

• 系统采用多层SNN，所有组件之间通过基于事件的二值脉冲信号进行通信。
• 每层均包含专用训练模块，利用改进的赫布规则执行在线、局部的权重与阈值更新。
• 权重更新遵循固定步长规则：若目标脉冲时间超过当前权重，则w_ij增加2；否则减少2。
• 阈值更新采用基于当前阈值值的自适应步长（ΔT），以防止下溢，其中η_T = 2^-10。
• 通过仅在GAS信号之后触发LAS信号，对信号进行掩码，显著减少不必要的更新，从而加速训练过程。
• 网络采用时间延迟编码进行输入编码，并将训练数据存储在片上RAM中，以支持基于硬件重启的重训练。

实验结果

研究问题

• RQ1 是否可在硬件中实现无需反向传播或梯度计算的多层SNN在线训练？
• RQ2 与浮点软件实现相比，固定步长、基于整数的权重与阈值更新是否能保持分类准确率？
• RQ3 采用事件驱动、异步训练与局部学习规则是否能在标准基准上实现具有竞争力的性能，且硬件开销极低？
• RQ4 系统在多个随机数据划分下是否能保持性能稳定，即使训练动态存在高方差？
• RQ5 与原始软件版ODESA相比，硬件优化的ODESA在准确率与收敛性方面表现如何？

主要发现

• 硬件实现的ODESA在IRIS数据集上平均准确率为79.5% ± 7.2，20次随机划分中最高达86.6%。
• 尽管采用定点运算与非归一化权重，硬件版本与软件ODESA（82.8% ± 1.7）相比仅出现轻微准确率下降。
• 硬件版本的标准差（±7.2）高于软件版本（±1.7），表明由于固定步长更新，收敛性略不稳定。
• 系统成功实现了仅使用片上RAM存储数据与事件驱动脉冲通信的芯片内在线训练。
• 将LAS信号掩码为仅在GAS信号之后触发，显著减少了训练周期数，加速了收敛。
• FPGA实现展现出高能效与低资源占用，适用于边缘设备上的实时、持续学习。