[论文解读] Supervised Learning in Spiking Neural Networks with Phase-Change Memory Synapses

S. R. Nandakumar, Irem Boybat+4 more|arXiv (Cornell University)|May 28, 2019

Advanced Memory and Neural Computing被引用 8

一句话总结

本论文首次通过纳米级相变存储器（PCM）突触实现了脉冲神经网络（SNNs）的实验性监督学习。通过利用PCM计算内存阵列实现并行、原位权重更新，并结合统计模型以补偿器件非理想特性，该系统在存在状态相关电导变化和漂移的情况下，仍实现了亚毫秒级精度的尖峰时间生成。

ABSTRACT

Spiking neural networks (SNN) are artificial computational models that have been inspired by the brain's ability to naturally encode and process information in the time domain. The added temporal dimension is believed to render them more computationally efficient than the conventional artificial neural networks, though their full computational capabilities are yet to be explored. Recently, computational memory architectures based on non-volatile memory crossbar arrays have shown great promise to implement parallel computations in artificial and spiking neural networks. In this work, we experimentally demonstrate for the first time, the feasibility to realize high-performance event-driven in-situ supervised learning systems using nanoscale and stochastic phase-change synapses. Our SNN is trained to recognize audio signals of alphabets encoded using spikes in the time domain and to generate spike trains at precise time instances to represent the pixel intensities of their corresponding images. Moreover, with a statistical model capturing the experimental behavior of the devices, we investigate architectural and systems-level solutions for improving the training and inference performance of our computational memory-based system. Combining the computational potential of supervised SNNs with the parallel compute power of computational memory, the work paves the way for next-generation of efficient brain-inspired systems.

研究动机与目标

• 展示使用纳米级PCM器件在SNN中实现高性能、事件驱动、原位监督学习的可行性。
• 通过系统级补偿策略应对PCM特性非理想性带来的挑战，如状态相关电导调制和电导漂移。
• 将基于PCM的计算内存阵列与SNN集成，以实现对音频等时间编码信号的能效高、实时处理。
• 通过PCM器件行为的统计模型和硬件实验，验证基于PCM的SNN在训练与推理性能上的表现。
• 探索架构解决方案，包括多PCM配置和阵列级扩展，以提升训练精度与鲁棒性。

提出的方法

• 采用计算内存架构，其中突触权重以PCM器件中的电导值存储，利用欧姆定律和基尔霍夫定律实现并行矩阵-向量乘法。
• 使用漏电流积分-发放（LIF）神经元模型，参数为：Cm = 300 pF，gL = 30 nS，EL = -70 mV，VT = 20 mV，tref = 2 ms，并以0.1 ms的时间分辨率进行仿真。
• 通过多PCM配置将SNN权重（范围[-6000, 6000]）映射为PCM电导值，每个器件贡献[0.1, 8] μS，并应用缩放因子以保持权重范围保真度。
• 采用NormAD训练算法，通过部分SET脉冲（50 ns持续时间，40–130 μA幅值）在每个训练周期后更新PCM电导值。
• 通过FPGA和模拟前端板卡实现硬件接口，以0.3 V读取电导值并编程权重，每个周期约模拟6.3秒。
• 在推理阶段通过基于训练以来经过时间的阵列级缩放实现补偿，以减轻电导漂移的影响。

实验结果

研究问题

• RQ1 相变存储器器件能否在SNN中有效用作突触权重，实现具有高时间精度的监督学习？
• RQ2 PCM器件中的状态相关电导变化和电导漂移如何影响SNN的训练与推理性能？
• RQ3 多PCM配置和阵列级缩放在多大程度上可提升基于PCM的SNN的训练精度与鲁棒性？
• RQ4 基于PCM的计算内存架构能否实现对事件驱动、时间编码输入的实时、原位SNN训练？
• RQ5 在SNN推理过程中，哪些系统级策略能有效补偿PCM非理想行为？

主要发现

• 基于PCM的SNN成功学习到在响应时间编码的字母音频信号时，能以数毫秒的精度生成输出尖峰序列。
• 通过多PCM配置提高粒度，显著降低了器件级非理想性的影响，从而提升了训练精度。
• 通过基于训练以来经过时间的阵列级缩放，有效补偿了推理阶段的电导漂移，使性能恢复至接近软件等效水平。
• 系统在100个周期内保持了稳定的训练性能，电导值以串行方式读取和编程，平均每个周期约6.3秒。
• PCM行为的统计模型准确捕捉了器件非理想性，实现了对突触权重漂移和状态相关更新的可靠预测与补偿。
• PCM基计算内存与SNN的集成，为实现具备原位学习能力的能效高、可扩展的类脑计算系统提供了可行路径。