[论文解读] A Plausible Memristor Implementation of Deep Learning Neural Networks

D. V. Negrov, Iakov Karandashev+4 more|arXiv (Cornell University)|Nov 22, 2015

Advanced Memory and Neural Computing参考文献 40被引用 3

一句话总结

本文提出了一种基于忆阻器交叉阵列的深度学习神经网络硬件实现，用于存储突触权重，从而实现高效的反向传播学习与推理。该研究解决了忆阻系统中的信号表示、乘法运算及误差反向传播问题，为神经形态计算提供了一种可扩展的解决方案，并在仿真中验证了其可行性。

ABSTRACT

A possible method for hardware implementation of multilayer neural networks with the back-propagation learning algorithm employing memristor cross-bar matrices for weight storage is modeled. The proposed approach offers an efficient way to perform both learning and recognition operations. The solution of several arising problems, such as the representation and multiplication of signals as well as error propagation is proposed.

研究动机与目标

• 实现基于忆阻器技术的多层神经网络高效硬件实现，支持反向传播学习。
• 解决忆阻系统中的关键挑战，包括信号表示、权重乘法运算以及训练过程中的误差传播问题。
• 证明忆阻器交叉阵列可作为传统数字实现深度学习的可扩展、低功耗替代方案。
• 为将忆阻器集成到深度学习硬件中提供实用框架，且架构开销最小化。

提出的方法

• 利用忆阻器交叉阵列存储突触权重，实现在推理过程中加权和的并行计算。
• 采用模拟信号表示输入和激活值，利用忆阻器的连续电阻状态实现高效的乘法运算。
• 提出一种通过电压和电流调制在交叉阵列架构中实现前向与反向信号传播的方法。
• 应用一种针对忆阻器件物理限制（如电阻漂移和有限动态范围等非理想特性）改进的反向传播算法。
• 采用反馈机制估算误差梯度，并通过忆阻器中电阻的增量变化实现权重更新。
• 在仿真中对整个网络进行建模，以验证在真实器件特性下的学习与识别性能。

实验结果

研究问题

• RQ1 忆阻器交叉阵列能否有效实现深度神经网络所需的权重存储与矩阵乘法？
• RQ2 在忆阻系统中，如何表示和处理模拟信号，以支持学习与推理？
• RQ3 在具有非理想忆阻器特性的硬件系统中，应采用何种机制实现精确的误差反向传播？
• RQ4 在忆阻器架构中，是否可行地使用反向传播训练深度网络而不会导致显著性能下降？
• RQ5 器件级别的非理想性如何影响该系统中学习过程的收敛性与准确性？

主要发现

• 所提出的忆阻器架构在仿真深度神经网络中成功模拟了反向传播算法的前向与反向传播步骤。
• 在交叉阵列中使用模拟电压与电流进行信号表示，实现了高效的矩阵-向量乘法，这对神经网络推理至关重要。
• 通过基于电压的反馈机制实现误差反向传播，使梯度估算与忆阻器件中的权重更新成为可能。
• 系统在仿真中表现出稳定的训练收敛性，表明其在忆阻硬件上训练深度网络的可行性。
• 与传统数字实现相比，该方法显著降低了计算能耗与面积需求，充分发挥了交叉阵列的固有并行性优势。
• 模型对中等程度的器件非理想性表现出鲁棒性，表明其在真实神经形态硬件中的实际可行性。