[论文解读] Binary Weighted Memristive Analog Deep Neural Network for Near-Sensor Edge Processing

Olga Krestinskaya, Alex Pappachen James|arXiv (Cornell University)|Aug 2, 2018

Advanced Memory and Neural Computing参考文献 12被引用 4

一句话总结

本文提出一种基于二值化状态忆阻器件的二值权重忆阻模拟深度神经网络，以实现低功耗、高面积效率的近传感器边缘推理。通过在交叉阵列架构中利用反向传播进行二值权重更新，该网络在MNIST数字识别任务上实现了约90%的准确率，证明了其在极低硬件开销下实现能效优化边缘人工智能的可行性。

ABSTRACT

The memristive crossbar aims to implement analog weighted neural network, however, the realistic implementation of such crossbar arrays is not possible due to limited switching states of memristive devices. In this work, we propose the design of an analog deep neural network with binary weight update through backpropagation algorithm using binary state memristive devices. We show that such networks can be successfully used for image processing task and has the advantage of lower power consumption and small on-chip area in comparison with digital counterparts. The proposed network was benchmarked for MNIST handwritten digits recognition achieving an accuracy of approximately 90%.

研究动机与目标

• 为解决忆阻器件切换状态有限的问题，以实现模拟神经网络的构建。
• 通过使用二值权重忆阻器件，实现面向边缘计算的能效优化、片上推理。
• 设计一种可训练的模拟DNN，利用忆阻交叉阵列实现反向传播的二值权重。
• 在极小硬件占地面积下，对图像分类任务进行性能基准测试。
• 展示利用模拟二值权重忆阻网络实现近传感器处理的可行性。

提出的方法

• 利用二值状态忆阻器件在交叉阵列中表示权重，实现模拟计算。
• 应用改进的反向传播算法，在训练过程中以二值形式（±1）更新权重。
• 采用模拟-数字混合架构，权重存储于忆阻器中，激活值在模拟域中处理。
• 设计具有二值权重层的网络，相比全精度数字实现，显著降低功耗与面积。
• 优化训练过程，即使在二值权重约束下仍保持高准确率。
• 在MNIST数据集上，使用全连接深度神经网络与二值权重验证该架构。

实验结果

研究问题

• RQ1 二值权重忆阻交叉阵列能否有效实现可训练的模拟深度神经网络？
• RQ2 二值权重忆阻DNN在图像任务上的准确率与全精度数字实现相比如何？
• RQ3 在边缘人工智能硬件中使用二值状态忆阻器能带来哪些功耗与面积优势？
• RQ4 能否有效将反向传播适配到忆阻交叉阵列架构中的二值权重更新？
• RQ5 模拟计算结合二值权重在多大程度上可实现近传感器边缘推理？

主要发现

• 所提出的二值权重忆阻DNN在MNIST手写数字识别基准测试中实现了约90%的准确率。
• 由于采用二值权重表示与模拟存内计算，该网络相比数字实现展现出显著的功耗与面积效率。
• 尽管真实器件的切换状态有限，二值状态忆阻器的使用仍实现了实际可行的实现。
• 该架构支持端到端反向传播训练，验证了在二值权重模拟框架中实现学习的可行性。
• 通过最小化数据移动与片上存储需求，该设计实现了近传感器处理。
• 结果表明，二值权重模拟网络可在极低硬件成本下实现可接受的准确率，适用于边缘人工智能应用。