[论文解读] An All-Memristor Deep Spiking Neural Network: A Step Towards Realizing the Low Power, Stochastic Brain.

Parami Wijesinghe, Aayush Ankit+2 more|arXiv (Cornell University)|Dec 5, 2017

Advanced Memory and Neural Computing被引用 4

一句话总结

本文提出了一种完全基于忆阻器的深度脉冲神经网络（SNN），利用纳米尺度忆阻器的固有随机性来模拟生物脉冲神经元，实现低功耗、类脑计算。该方法通过改进的训练流程将深度模拟人工神经网络（ANN）转换为SNN，在器件与电路非理想性条件下仅造成1%的精度下降，同时与CMOS实现相比能耗降低约11倍。

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in deep neural networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in a deep Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep SNN for image classification and observed only about 1% degradation in accuracy with the deep analog ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to variations and consumes ~x11 less energy than its CMOS counterpart.

研究动机与目标

• 通过模拟生物大脑的能量效率，解决深度模拟人工神经网络（ANN）功耗过高的问题。
• 利用纳米尺度阻性器件（忆阻器）的固有随机性，自然实现脉冲神经元行为，无需外部噪声源。
• 设计一种完全基于忆阻器的SNN架构，使用忆阻器交叉阵列存储突触权重，利用随机忆阻器神经元进行神经处理。
• 开发一种改进的训练方法，使预训练的深度ANN能够转换为SNN，同时在器件与电路非理想性条件下保持精度。
• 在真实世界图像分类任务中展示所提出SNN的鲁棒性与能效优势。

提出的方法

• 利用纳米尺度忆阻器的固有随机开关行为，模拟生物神经元的概率性放电行为。
• 设计一种电路架构，其中忆阻器神经元基于输入电流的随机阈值判定生成脉冲，模拟突触可塑性的时间依赖性。
• 采用忆阻器交叉阵列存储突触权重，实现内存内计算，降低数据移动能耗。
• 在反向传播过程中调整突触权重，以适应由忆阻器行为导出的随机激活函数，从而维持网络精度。
• 在仿真中集成器件级非理想性（如参数波动、电阻漂移），以评估鲁棒性与实际可行性。
• 在标准基准数据集上对SNN进行图像分类任务验证，对比其精度与能效与CMOS基SNN及原始ANN的表现。

实验结果

研究问题

• RQ1 纳米尺度忆阻器的固有随机性是否可有效用于实现脉冲神经元功能，而无需外部噪声注入？
• RQ2 如何在器件与电路非理想性条件下，将深度模拟ANN转换为忆阻器基SNN，同时保持高分类精度？
• RQ3 所提出的全忆阻器SNN架构在面对真实世界器件参数变化时，其精度与能效的保持程度如何？
• RQ4 与传统CMOS基SNN及ANN相比，所提出的忆阻器基SNN在能效方面有何提升？
• RQ5 在推理过程中，网络对忆阻器电阻与开关行为变化的鲁棒性如何？

主要发现

• 在真实器件与电路非理想性条件下，所提出的全忆阻器SNN与原始深度模拟ANN基线相比，仅造成1%的精度下降。
• 该网络对纳米尺度忆阻器固有的参数波动表现出强鲁棒性，在多次测试运行中均保持高性能。
• 忆阻器基SNN的能耗约为其CMOS基对应版本的1/11，显著提升了能效。
• 由忆阻器行为导出的随机激活函数可自然实现脉冲生成，无需额外电路或噪声注入。
• 改进的训练方法成功将预训练的深度ANN转换为SNN，在利用忆阻器物理特性的同时保持了高精度。
• 通过忆阻器交叉阵列实现突触权重存储，支持内存内计算，显著降低了推理阶段的能耗与延迟。