[论文解读] Low Power Artificial Neural Network Architecture

Krishna Prasad Gnawali, Seyed Nima Mozaffari+1 more|arXiv (Cornell University)|Apr 3, 2019

Advanced Memory and Neural Computing参考文献 21被引用 7

一句话总结

本文提出一种低功耗前馈神经网络架构，利用自旋电子器件替代基于忆阻器交叉阵列中的高功耗电压转换器和运算放大器。通过每对列使用一个自旋电子器件生成突触电流，该设计相比现有忆阻神经网络架构实现了显著的功耗降低，并通过实验验证了其能效提升。

ABSTRACT

Recent artificial neural network architectures improve performance and power dissipation by leveraging resistive devices to store and multiply synaptic weights with input data. Negative and positive synaptic weights are stored on the memristors of a reconfigurable crossbar array (MCA). Existing MCA-based neural network architectures use high power consuming voltage converters or operational amplifiers to generate the total synaptic current through each column of the crossbar array. This paper presents a low power MCA-based feedforward neural network architecture that uses a spintronic device per pair of columns to generate the synaptic current for each neuron. It is shown experimentally that the proposed architecture dissipates significantly less power compared to existing feedforward memristive neural network architectures.

研究动机与目标

• 解决现有基于忆阻器的神经网络架构中电压转换器和运算放大器的高功耗问题。
• 通过用自旋电子器件替代传统电流生成方法，降低前馈神经网络中的功耗。
• 设计一种可重构交叉阵列（MCA），支持使用忆阻器实现正负突触权重。
• 通过实验验证一种新颖架构，利用自旋电子器件实现高效突触电流生成。

提出的方法

• 该架构用每对列一个自旋电子器件替代传统电压转换器和运算放大器，以生成每个神经元的总突触电流。
• 突触权重通过可重构交叉阵列（MCA）中的忆阻器存储，通过器件配置支持正负权重。
• 自旋电子器件作为电流源工作，直接生成每个神经元所需的突触电流，无需额外高功耗电路。
• 该设计通过自旋电子器件实现列级电流求和，最大限度减少电流生成过程中的功耗损失。
• 该架构通过保持交叉阵列结构和权重存储机制，与标准前馈神经网络计算兼容。
• 通过实验验证，将功耗损耗与现有基于MCA的架构进行对比。

实验结果

研究问题

• RQ1 自旋电子器件能否有效替代电压转换器和运算放大器，在基于忆阻器的神经网络中生成突触电流？
• RQ2 在基于MCA的神经网络中，使用自旋电子器件相比传统电流生成方法在功耗损耗方面有何优势？
• RQ3 所提出的架构在降低前馈神经网络功耗的同时，如何保持准确性和功能性？
• RQ4 自旋电子器件的使用在交叉阵列实现中能将能效提升到何种程度？
• RQ5 所提出的架构能否通过实验验证，作为现有基于MCA的神经网络设计的可行低功耗替代方案？

主要发现

• 所提出的架构相比现有忆阻神经网络架构表现出显著更低的功耗损耗。
• 使用自旋电子器件进行电流生成，消除了对高功耗电压转换器和运算放大器的需求。
• 实验结果证实，该架构在突触电流生成方面实现了显著的功耗节省。
• 该设计与可重构交叉阵列兼容，并支持正负突触权重。
• 该架构在真实场景中得到验证，显示出相比传统方法在能效方面的可测量提升。