[论文解读] Intelligence Processing Units Accelerate Neuromorphic Learning

Pao-Sheng Vincent Sun, Alexander Titterton+5 more|arXiv (Cornell University)|Nov 19, 2022

Advanced Memory and Neural Computing被引用 8

一句话总结

本文提出了一种针对IPU优化的snnTorch SNN框架版本，利用低层级、预编译的自定义操作来加速脉冲神经网络的反向传播训练。通过利用IPU的多指令多数据（MIMD）并行性与群体编码，该方法在吞吐量上相比NVIDIA A100 GPU最高提升了21.3倍，证明了领域专用加速器可显著提升SNN训练效率，同时保持精度。

ABSTRACT

Spiking neural networks (SNNs) have achieved orders of magnitude improvement in terms of energy consumption and latency when performing inference with deep learning workloads. Error backpropagation is presently regarded as the most effective method for training SNNs, but in a twist of irony, when training on modern graphics processing units (GPUs) this becomes more expensive than non-spiking networks. The emergence of Graphcore's Intelligence Processing Units (IPUs) balances the parallelized nature of deep learning workloads with the sequential, reusable, and sparsified nature of operations prevalent when training SNNs. IPUs adopt multi-instruction multi-data (MIMD) parallelism by running individual processing threads on smaller data blocks, which is a natural fit for the sequential, non-vectorized steps required to solve spiking neuron dynamical state equations. We present an IPU-optimized release of our custom SNN Python package, snnTorch, which exploits fine-grained parallelism by utilizing low-level, pre-compiled custom operations to accelerate irregular and sparse data access patterns that are characteristic of training SNN workloads. We provide a rigorous performance assessment across a suite of commonly used spiking neuron models, and propose methods to further reduce training run-time via half-precision training. By amortizing the cost of sequential processing into vectorizable population codes, we ultimately demonstrate the potential for integrating domain-specific accelerators with the next generation of neural networks.

研究动机与目标

• 为解决脉冲神经网络（SNNs）在反向传播训练方面缺乏专用加速器的问题，尽管SNN在推理阶段本就具备能效优势。
• 探究Graphcore的智能处理单元（IPUs）是否能够高效处理SNN训练中固有的顺序性、稀疏性和不规则计算模式。
• 开发并基准测试一个针对IPU优化的snnTorch SNN框架版本，以实现高吞吐量、低延迟的训练。
• 评估半精度训练与群体编码对SNN训练性能与精度的影响。

提出的方法

• 通过使用低层级、预编译的自定义操作，将snnTorch SNN框架移植至Graphcore的IPU上，以加速不规则和稀疏的数据访问模式。
• 利用IPU的多指令多数据（MIMD）执行模型，将单个处理线程映射到更小的数据块，与脉冲神经元动力学的顺序特性相匹配。
• 实现群体编码，将时间成本在空间维度上重新分布，从而支持向量化矩阵运算，而非重复的小规模计算。
• 通过功能轮廓化与神经元及突触算子的均衡编译，优化IPU内核执行与内存访问模式。
• 在CIFAR-10和MNIST数据集上，对多个SNN模型和精度级别（半精度与全精度）进行性能基准测试。
• 在snnTorch中集成群体编码，并提供公开的交互式笔记本，支持在IPU和GPU上跨平台训练。

实验结果

研究问题

• RQ1 基于IPU的加速器是否能在使用误差反向传播训练脉冲神经网络时超越GPU？
• RQ2 在IPU和GPU上运行时，群体编码对SNN训练吞吐量与精度有何影响？
• RQ3 在IPU上使用半精度训练，SNN工作负载可实现多大的性能提升？
• RQ4 在循环SNN中，GPU与IPU在何种架构条件下性能趋于收敛？
• RQ5 群体编码在多大程度上可实现单时间步训练而不损失精度？

主要发现

• 在训练SNN时，IPU优化的snnTorch框架相比NVIDIA A100 GPU最高实现21.3倍的吞吐量提升，峰值性能达到约145,000张图像/秒。
• 在最低吞吐量时，IPU与A100在深度SNN上性能趋于一致，表明在某些网络架构中存在性能交叉点。
• 群体编码通过将顺序计算成本在空间维度上重新分布，支持向量化操作，显著提升了吞吐量。
• 当输出神经元数量为500个（每类50个）时，DSNN可在单个时间步内达到52.2%的准确率，与25步基线性能相当，证明了单时间步学习的可行性。
• 半精度训练可减轻内存带宽压力，并进一步加速训练，尤其在IPU上效果显著，且精度损失可忽略。
• 在群体编码的CSNN中，A100性能优于IPU，原因在于终端突触操作占主导，而GPU对此类操作处理效率更高。