[论文解读] Domain Wall Leaky Integrate-and-Fire Neurons with Shape-Based Configurable Activation Functions

Wesley H. Brigner, Naimul Hassan+8 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Memory and Neural Computing参考文献 26被引用 21

一句话总结

本文提出在自旋电子器件中采用形状工程化的磁畴壁神经元，通过调节畴壁轨道的几何形状，实现可配置的激活函数——具体为线性和S型函数。通过调节轨道的宽度梯度，神经元实现无需CMOS电路的模拟类漏电流积分-发放行为，且激活特性可调，显著提升了自旋电子类脑神经形态系统中的学习效率。

ABSTRACT

Complementary metal oxide semiconductor (CMOS) devices display volatile characteristics, and are not well suited for analog applications such as neuromorphic computing. Spintronic devices, on the other hand, exhibit both non-volatile and analog features, which are well-suited to neuromorphic computing. Consequently, these novel devices are at the forefront of beyond-CMOS artificial intelligence applications. However, a large quantity of these artificial neuromorphic devices still require the use of CMOS, which decreases the efficiency of the system. To resolve this, we have previously proposed a number of artificial neurons and synapses that do not require CMOS for operation. Although these devices are a significant improvement over previous renditions, their ability to enable neural network learning and recognition is limited by their intrinsic activation functions. This work proposes modifications to these spintronic neurons that enable configuration of the activation functions through control of the shape of a magnetic domain wall track. Linear and sigmoidal activation functions are demonstrated in this work, which can be extended through a similar approach to enable a wide variety of activation functions.

研究动机与目标

• 为解决先前自旋电子漏电流积分-发放神经元中激活函数可配置性有限的问题。
• 消除类脑计算中对CMOS电路用于控制激活函数的依赖。
• 证明磁畴壁轨道的形状可用于构建多样化的激活函数。
• 通过纯自旋电子手段实现高效、非易失性且模拟类的神经网络运算。

提出的方法

• 通过设计具有渐变宽度分布的畴壁轨道，构建空间变化的能量势场以控制畴壁漂移。
• 通过对称且逐渐扩宽的轨道实现线性激活，产生恒定的漏电流速度。
• 通过将宽度梯度限制在中心区域，实现压缩（S型）激活，产生非线性漏电流响应。
• 利用mumax3进行微磁仿真，验证在不同输入电流下集成、漏电流和发放行为的正确性。
• 器件利用自旋轨道扭矩（SOT）电流注入自旋极化电子，驱动畴壁运动。
• 通过调节轨道宽度（w1）和曲率（b）等几何参数实现激活函数调制，无需外部电路。

实验结果

研究问题

• RQ1 能否利用磁畴壁轨道的形状来配置自旋电子神经元的激活函数？
• RQ2 在线性与S型激活函数的实现中，如何在无CMOS的自旋电子神经元中实现物理实现？
• RQ3 哪些几何参数控制畴壁神经元漏电流行为的线性与非线性特性？
• RQ4 在不同形状的激活函数下，集成速度与稳定性能在多大程度上保持？
• RQ5 该方法能否扩展以实现神经网络中其他常见激活函数？

主要发现

• 当曲率参数b在1至5之间时，可实现线性激活函数，其中b = 1对应直线轨道，随着b增大，线性度与漏电流速度均提升。
• 从线性拟合中得到的漏电流响应均方根误差（RMSE）随b增大而减小，表明线性度提高。
• 通过将宽度梯度限制在中心区域，实现S型（压缩）激活函数，w1在100 nm至400 nm之间，产生非线性漏电流响应。
• 在输入电流为0.1 mA时，高w1值下因畴壁不稳定导致集成行为非单调，但在0.5 mA下该问题得以解决，确保了单调且稳定的集成。
• 集成速度随输入电流增加而提升，且在压缩型神经元中与w1成反比，较高电流可抑制边缘振荡。
• 所提出方法实现了无CMOS、基于形状的激活函数调制，为全自旋电子类脑神经形态系统中的片上学习铺平了道路。