[论文解读] Spiking Neural Networks for Inference and Learning: A Memristor-based Design Perspective

M. E. Fouda, F. Kurdahi+2 more|arXiv (Cornell University)|Sep 4, 2019

Advanced Memory and Neural Computing被引用 23

一句话总结

本文提出了一种基于忆阻器的脉冲神经网络（SNNs）硬件设计，采用三因素学习规则——整合了突触前活动、突触后活动以及神经调质——以实现优于传统脉冲时间依赖可塑性（STDP）的学习性能。通过利用忆阻器的非理想特性（如随机性与本征动力学），该方法实现了高效的、内存内计算的突触可塑性，显著提升了能效比与可扩展性，适用于类脑推理与学习。

ABSTRACT

On metrics of density and power efficiency, neuromorphic technologies have the potential to surpass mainstream computing technologies in tasks where real-time functionality, adaptability, and autonomy are essential. While algorithmic advances in neuromorphic computing are proceeding successfully, the potential of memristors to improve neuromorphic computing have not yet born fruit, primarily because they are often used as a drop-in replacement to conventional memory. However, interdisciplinary approaches anchored in machine learning theory suggest that multifactor plasticity rules matching neural and synaptic dynamics to the device capabilities can take better advantage of memristor dynamics and its stochasticity. Furthermore, such plasticity rules generally show much higher performance than that of classical Spike Time Dependent Plasticity (STDP) rules. This chapter reviews the recent development in learning with spiking neural network models and their possible implementation with memristor-based hardware.

研究动机与目标

• 弥合脉冲神经网络（SNNs）在算法上的进展与基于忆阻器的类脑硬件实现之间的差距。
• 突破仅将忆阻器作为传统存储器直接替换的局限，通过将突触可塑性规则与器件物理特性及非理想性对齐。
• 通过与忆阻器交叉阵列架构兼容的硬件感知梯度学习规则，实现在SNN中高性能、低功耗的学习与推理。
• 研究如何利用忆阻器阵列实现突触与神经动力学（包括时间轨迹与神经调质），以解决时间信用分配问题。
• 证明利用忆阻器的随机性与非理想性可增强学习鲁棒性，类似于深度学习中的Dropout或权重归一化。

提出的方法

• 将SNNs形式化为具有漏电积分-发放（LIF）神经元模型的递归网络，膜电位动力学由包含突触电流与脉冲列的微分方程控制。
• 采用三因素学习规则实现突触可塑性——即突触前脉冲活动、突触后膜电位与神经调质——实现基于梯度的生物可解释信用分配学习。
• 利用忆阻器交叉阵列在硬件中执行向量-矩阵乘法（脉冲-权重交互），突触权重以电导状态存储。
• 通过RC类电路或扩散型忆阻器实现突触与神经时间轨迹，以捕捉非线性SNN中信用分配所必需的时间动力学。
• 集成CMOS辅助电路（如2T1R结构）以支持STDP与三因素学习，包括针对非零alpha/beta参数的滤波机制。
• 将忆阻器随机性用作正则化器，模拟Dropout或权重归一化，以提升训练过程中的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 在器件物理限制下，如何有效利用忆阻器硬件实现SNN中的三因素学习规则？
• RQ2 忆阻器的非理想性（如随机性、电阻漂移与可变性）在SNN学习性能中起到增强还是损害作用？
• RQ3 能否在忆阻器阵列中高效实现突触与神经时间轨迹，以解决具有非线性动力学的SNN中的时间信用分配问题？
• RQ4 当映射到忆阻器交叉阵列时，基于梯度的三因素可塑性规则与STDP在性能与硬件效率方面如何比较？
• RQ5 忆阻器的本征动力学（如扩散行为）在无需额外CMOS电路的情况下，能在多大程度上用于模拟神经与突触整合？

主要发现

• 三因素学习规则（整合突触前活动、突触后膜电位与神经调质）在图像识别与独立成分分析（ICA）等任务中，持续优于经典STDP，表现在学习准确率与收敛速度方面。
• 忆阻器随机性可作为一种正则化形式，提升泛化能力并减少过拟合，其效果类似于深度学习中的Dropout或权重归一化。
• 通过RC电路或扩散型忆阻器可实现突触与神经时间轨迹，从而支持非线性SNN中信用分配所必需的时间动力学计算。
• 在突触后神经元水平集成神经调质对实现有效三因素学习至关重要，可通过专用CMOS隔室或忆阻器电路实现。
• 忆阻器中的固定模式噪声会因导致权重间学习速率不一致而损害学习性能，而独立噪声则具有益处，可被用于正则化。
• 硬件感知的可塑性规则设计可实现高效的内存内计算，减少片外内存访问，显著提升SNN实现的能效比。