[论文解读] Advancing Memristive Analog Neuromorphic Networks: Increasing Complexity, and Coping with Imperfect Hardware Components

Farnood Merrikh-Bayat, M. Prezioso+3 more|arXiv (Cornell University)|Nov 10, 2016

Advanced Memory and Neural Computing参考文献 4被引用 8

一句话总结

本论文提出了一种三层混合信号类脑神经网络，采用两个20×20忆阻器交叉阵列和428个金属氧化物忆阻器，实现对4×4二值图像的4类分类，隐藏层和输出层分别使用10个和4个模拟CMOS神经元。该系统完全在硬件中执行推理，并通过新颖的训练方案和一种温度增强型忆阻器乘法器设计，展现出对缺陷和参数变异的容错能力，通过在MNIST数据集上建模300个隐藏神经元验证了其可扩展性。

ABSTRACT

We experimentally demonstrate classification of 4x4 binary images into 4 classes, using a 3-layer mixed-signal neuromorphic network ("MLP perceptron"), based on two passive 20x20 memristive crossbar arrays, board-integrated with discrete CMOS components. The network features 10 hidden-layer and 4 output-layer analog CMOS neurons and 428 metal-oxide memristors, i.e. is almost an order of magnitude more complex than any previously reported functional memristor circuit. Moreover, the inference operation of this classifier is performed entirely in the integrated hardware. To deal with larger crossbar arrays, we have developed a semi-automatic approach to their forming and testing, and compared several memristor training schemes for coping with imperfect behavior of these devices, as well as with variability of analog CMOS neurons. The effectiveness of the proposed schemes for defect and variation tolerance was verified experimentally using the implemented network and, additionally, by modeling the operation of a larger network, with 300 hidden-layer neurons, on the MNIST benchmark. Finally, we propose a simple modification of the implemented memristor-based vector-by-matrix multiplier to allow its operation in a wider temperature range.

研究动机与目标

• 开发一种复杂且完全基于硬件实现的忆阻器类脑神经网络，能够执行分类任务。
• 解决大规模类脑系统中忆阻器可变性及模拟CMOS神经元非理想性等硬件缺陷问题。
• 通过半自动成型与测试方法，实现忆阻器交叉阵列的可扩展性。
• 通过改进的基于忆阻器的向量-矩阵乘法器设计，提升系统在温度变化下的鲁棒性。
• 通过实验结果和在MNIST基准上的大规模建模，验证容错方案的有效性。

提出的方法

• 该网络采用两个20×20无源忆阻器交叉阵列，与离散CMOS元件集成，实现三层多层感知机（MLP）前馈网络。
• 隐藏层和输出层使用模拟CMOS神经元，428个金属氧化物忆阻器构成突触权重。
• 开发了一种半自动方法用于忆阻器交叉阵列的成型与测试，以应对制造与集成中的挑战。
• 评估了多种忆阻器训练方案，以补偿忆阻器和CMOS神经元中的器件非理想性与可变性。
• 提出了一种改进的向量-矩阵乘法器设计，以扩展工作温度范围。
• 通过实验和在MNIST数据集上对300个神经元隐藏层网络的仿真，验证了容错方案的有效性。

实验结果

研究问题

• RQ1 能否成功制造并运行一个包含400多个忆阻器的完全基于硬件的类脑神经网络以实现分类？
• RQ2 不同训练方案在补偿忆阻器和CMOS神经元缺陷方面的有效性如何？
• RQ3 半自动方法能否可靠地实现大规模忆阻器交叉阵列的成型与测试？
• RQ4 该网络在器件可变性和温度变化下，其准确率能维持到何种程度？
• RQ5 所提出的系统能否通过实验与建模验证，在更大规模基准（如MNIST）上实现可扩展性？

主要发现

• 所实现的三层网络成功使用纯硬件推理对4×4二值图像完成4类分类，系统复杂度较以往工作高出近一个数量级。
• 所提出的训练方案有效缓解了忆阻器非理想性及CMOS神经元可变性的影响，实现了可靠运行。
• 实验验证确认了容错机制在真实硬件环境中的鲁棒性。
• 建模结果表明，包含300个隐藏神经元的更大规模网络在MNIST基准上可实现可接受的性能，显示出良好的可扩展潜力。
• 改进的基于忆阻器的向量-矩阵乘法器实现了更宽温度范围内的稳定运行，显著提升了实际部署的可行性。
• 半自动成型与测试方法实现了大尺寸交叉阵列的高效集成与表征，为未来扩展提供了支持。