[论文解读] An All-Memristor Deep Spiking Neural Computing System: A Step Towards Realizing the Low Power,Stochastic Brain

Parami Wijesinghe, Aayush Ankit+2 more|arXiv (Cornell University)|Dec 5, 2017

Advanced Memory and Neural Computing参考文献 34被引用 3

一句话总结

本文提出了一种全忆阻器深度随机脉冲神经网络（SNN），利用纳米尺度忆阻器的固有随机性来模拟概率性脉冲神经元，并采用忆阻交叉阵列实现突触权重。与基线深度人工神经网络（ANN）相比，该系统在MNIST数据集上的准确率仅下降1%，同时相比CMOS实现能耗降低6.4倍，展现出对器件变异的鲁棒性以及低功耗类脑计算的潜力。

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in Deep Artificial Neural Networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in deep stochastic Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep stochastic SNN for image classification and observed only about 1% degradation in accuracy with the ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to certain variations and consumes ~ 6.4x less energy than its CMOS counterpart.

研究动机与目标

• 通过模拟大脑的低功耗、随机脉冲行为，弥合深度神经网络在功耗与准确率之间的差距。
• 利用纳米尺度忆阻器的内在随机性而非抑制其随机性，将其作为实现概率性神经元行为的功能特性。
• 设计一种完全基于忆阻器的架构，用于神经元和突触权重，实现硬件高效、低功耗的SNN。
• 在真实器件与电路非理想条件下，验证所提出的全忆阻器SNN的鲁棒性与能效表现。
• 在不依赖确定性近似的情况下，实现深度SNN的端到端训练与推理。

提出的方法

• 本文提出使用单个忆阻器作为随机神经元，通过改变写脉冲宽度下的开关概率，模拟概率性激活函数。
• 采用忆阻交叉阵列实现突触权重，执行输入脉冲与权重之间的模拟内积计算。
• 采用改进的训练流程，将预训练的深度人工神经网络转换为随机SNN，以考虑忆阻器神经元的概率行为。
• 系统设计包含缓冲器、放大器和反相器等电路级组件，用于接口连接忆阻阵列并管理信号时序。
• 评估基于128×128忆阻交叉阵列架构，单元尺寸为100F²，延迟与面积估算基于器件与电路参数得出。
• 通过注入突触权重变化（σ < 20%）、神经元偏置电压（<200 mV）、开关概率曲线及写脉冲持续时间（约50%变化）等方式分析鲁棒性。

实验结果

研究问题

• RQ1 纳米尺度忆阻器的内在随机性能否被作为类脑计算中的功能特性加以利用，而非仅视为可靠性问题？
• RQ2 如何仅使用忆阻器实现深度脉冲神经网络的训练与实现，同时用于神经元与突触？
• RQ3 所提出的全忆阻器SNN在器件与电路非理想条件下，其分类准确率能保持多大程度的稳定性？
• RQ4 与传统CMOS基SNN相比，全忆阻器SNN的能量与面积-延迟效率如何？
• RQ5 在不因固定概率激活曲线导致准确率下降的前提下，系统能否在不同工作速度下保持性能？

主要发现

• 与原始深度人工神经网络基线相比，全忆阻器深度随机SNN在MNIST数据集上的准确率仅下降1%。
• 该网络对突触权重变化（σ < 20%）、神经元偏置电压（<200 mV）以及写脉冲持续时间（高达约50%变化）表现出鲁棒性。
• 该系统能耗约为同等CMOS基SNN实现的6.4倍降低。
• 所提设计的面积×延迟乘积比CMOS对应设计小8倍，表明其具有更优的能量-延迟效率。
• 忆阻器神经元的能耗随写脉冲宽度增加而降低，但总能耗因脉冲持续时间延长而上升，表明设计优化中存在权衡。
• 忆阻器在不同写入时间下开关概率曲线的恒定陡度，使得系统在不同速度需求下均能保持稳定性能，且无准确率损失。