[论文解读] Implementation of Multilayer Perceptron Network with Highly Uniform Passive Memristive Crossbar Circuits

F. Merrikh Bayat, M. Prezioso+3 more|arXiv (Cornell University)|Dec 4, 2017

Advanced Memory and Neural ComputingEngineering参考文献 2被引用 18

一句话总结

本文展示了一种采用两个20×20无源忆阻交叉阵列与CMOS元件集成的全硬件实现多层感知器分类器，通过提升忆阻器均匀性，实现了97%的仿真精度。该系统采用事前训练方法，实现了高分类保真度，标志着模拟忆阻硬件在神经形态计算领域的重要进展。

ABSTRACT

The progress in the field of neural computation hinges on the use of hardware more efficient than the conventional microprocessors. Recent works have shown that mixed-signal integrated memristive circuits, especially their passive ('0T1R') variety, may increase the neuromorphic network performance dramatically, leaving far behind their digital counterparts. The major obstacle, however, is relatively immature memristor technology so that only limited functionality has been demonstrated to date. Here we experimentally demonstrate operation of one-hidden layer perceptron classifier entirely in the mixed-signal integrated hardware, comprised of two passive 20x20 metal-oxide memristive crossbar arrays, board-integrated with discrete CMOS components. The demonstrated multilayer perceptron network, whose complexity is almost 10x higher as compared to previously reported functional neuromorphic classifiers based on passive memristive circuits, achieves classification fidelity within 3 percent of that obtained in simulations, when using ex-situ training approach. The successful demonstration was facilitated by improvements in fabrication technology of memristors, specifically by lowering variations in their I-V characteristics.

研究动机与目标

• 开发一种基于无源忆阻交叉阵列的全硬件实现多层感知器分类器，以实现高效的神经形态计算。
• 通过提升器件均匀性并减少I-V特性差异，克服忆阻器技术尚不成熟带来的限制。
• 展示一种可扩展的混合信号神经形态系统，其复杂度远超以往的无源忆阻分类器。
• 通过事前训练方法验证系统性能，并与仿真基准进行比较。
• 通过将无源忆阻阵列与离散CMOS元件集成，实现忆阻器基神经网络的实际部署。

提出的方法

• 系统采用两个20×20无源忆阻交叉阵列，实现单隐层感知器的权重矩阵。
• 通过改进忆阻器的均匀性，减少其I-V特性差异，提升器件一致性。
• 将交叉阵列与离散CMOS元件集成，用于信号调理、偏置和读出。
• 采用事前训练方法，即在网络离线计算权重后，将其映射至忆阻交叉阵列。
• 系统通过混合信号处理执行推理，采用模拟权重与数字控制逻辑。
• 通过将硬件结果与仿真基准进行比较，评估分类性能。

实验结果

研究问题

• RQ1 能否使用无源忆阻交叉阵列实现高保真度的全硬件多层感知器？
• RQ2 忆阻器均匀性的提升在多大程度上增强了神经形态硬件的性能？
• RQ3 在采用事前训练方法时，基于硬件的多层感知器的分类精度与仿真结果相比如何？
• RQ4 无源忆阻交叉阵列能否支持显著高于以往实现水平的网络复杂度？
• RQ5 CMOS集成在实现忆阻神经形态系统稳定且精确运行方面起到何种作用？

主要发现

• 硬件实现的多层感知器分类精度与仿真基准相差不超过3%，表现出高保真度。
• 该系统的复杂度接近以往报道的基于无源忆阻电路的功能性神经形态分类器的10倍。
• 改进的忆阻器制造工艺减少了I-V特性差异，实现了交叉阵列的可靠运行。
• 将无源忆阻交叉阵列与离散CMOS元件集成，实现了稳定且精确的推理。
• 事前训练方法成功地将预计算的权重映射至硬件，确保了性能的一致性。
• 结果证实了使用无源忆阻交叉阵列实现可扩展、高性能神经形态计算的可行性。