[论文解读] Gradient-descent hardware-aware training and deployment for mixed-signal Neuromorphic processors

Uğurcan Çakal, İlkay Ulusoy+3 more|arXiv (Cornell University)|Mar 14, 2023

Advanced Memory and Neural Computing参考文献 18被引用 1

一句话总结

本论文提出了一种基于梯度下降、硬件感知的混合信号脉冲神经网络（SNN）训练与部署流水线，专为DYNAP-SE2芯片设计。通过将可微分仿真器（DynapSim）与基于JAX的优化及无监督权重重量化相结合，该方法实现了端到端训练与分钟级的鲁棒部署——相比非编译训练实现了3700倍的速度提升，同时在器件失配和量化等硬件非理想性条件下仍保持高精度。

ABSTRACT

Mixed-signal neuromorphic processors provide extremely low-power operation for edge inference workloads, taking advantage of sparse asynchronous computation within Spiking Neural Networks (SNNs). However, deploying robust applications to these devices is complicated by limited controllability over analog hardware parameters, as well as unintended parameter and dynamical variations of analog circuits due to fabrication non-idealities. Here we demonstrate a novel methodology for ofDine training and deployment of spiking neural networks (SNNs) to the mixed-signal neuromorphic processor DYNAP-SE2. The methodology utilizes gradient-based training using a differentiable simulation of the mixed-signal device, coupled with an unsupervised weight quantization method to optimize the network's parameters. Parameter noise injection during training provides robustness to the effects of quantization and device mismatch, making the method a promising candidate for real-world applications under hardware constraints and non-idealities. This work extends Rockpool, an open-source deep-learning library for SNNs, with support for accurate simulation of mixed-signal SNN dynamics. Our approach simplifies the development and deployment process for the neuromorphic community, making mixed-signal neuromorphic processors more accessible to researchers and developers.

研究动机与目标

• 为解决将脉冲神经网络（SNNs）部署到DYNAP-SE2等混合信号类脑芯片所面临的参数可变性与可配置性有限的挑战。
• 减少传统类脑设备部署中所需数月的手动校准过程。
• 在真实硬件约束（如器件失配与量化）下，实现可扩展、自动化且鲁棒的SNN训练与部署。
• 扩展Rockpool库，集成一种可微分、硬件精确的仿真器（DynapSim），用于混合信号SNN动力学建模。
• 证明基于梯度的训练结合噪声注入与量化，可生成在实际DYNAP-SE2硬件上具有良好泛化能力的模型。

提出的方法

• 该方法利用DynapSim对DYNAP-SE2的混合信号动力学进行可微分仿真，精确建模随时间演化的模拟电路传递函数。
• 采用替代梯度方法，使反向传播能够通过脉冲神经元，从而在非可微脉冲函数下仍能实现SNN参数的基于梯度的优化。
• 训练流水线集成JAX与即时（JIT）编译技术，显著加速优化过程，将训练时间从数周缩短至数分钟。
• 采用无监督权重重量化方法，将训练后的网络权重自动映射为硬件兼容配置，无需人工调参。
• 在训练过程中注入参数噪声，以提升对器件失配与量化效应的鲁棒性。
• 最终模型自动转换为硬件配置，并部署至DYNAP-SE2芯片以执行推理。

实验结果

研究问题

• RQ1 基于梯度的训练能否有效应用于具有复杂模拟硬件约束的混合信号类脑处理器？
• RQ2 在SNN训练过程中，如何缓解器件失配与量化等硬件非理想性，以确保部署的鲁棒性？
• RQ3 对混合信号SNN动力学的可微分仿真，在多大程度上能够实现准确且高效的端到端训练？
• RQ4 JAX-JIT编译能否显著加速标准硬件上复杂神经元模型的SNN训练？
• RQ5 无监督量化结合噪声注入，能否生成在真实类脑硬件上具有良好泛化能力的模型？

主要发现

• 通过JAX-JIT编译，训练流水线实现了3700倍的速度提升，单机训练时间从15天缩短至6.5分钟。
• 仿真、量化及硬件推理的输出发放率高度一致，测试样本的FRR值分别为1.1、1.2和1.9，表明模型具有强大的泛化能力。
• 在器件失配与量化条件下，网络保持了鲁棒性能，类别0与类别1的输出神经元发放率在仿真与硬件结果间偏差极小。
• 当模型部署至DYNAP-SE2硬件时，在测试集上实现了100%的分类准确率，证明了可靠的推理能力。
• 无监督量化方法消除了手动校准的需要，实现了SNN向硬件的自动化部署。
• DynapSim仿真器准确复现了DYNAP-SE2的动力学特性，支持在部署前进行可靠的离线训练与验证。