[論文レビュー] Domain Wall Leaky Integrate-and-Fire Neurons with Shape-Based Configurable Activation Functions

Wesley H. Brigner, Naimul Hassan+8 more|arXiv (Cornell University)|Nov 11, 2020

Advanced Memory and Neural Computing参考文献 26被引用数 21

ひとこと要約

本論文では、磁気ドメインウォールトラックの幾何学的形状を調整することで、可変な活性化関数（特に線形およびシグモイド型）を実現するスピントロニクスデバイスにおける形状工学的磁気ドメインウォールニューロンを提案する。トラックの幅勾配を制御することにより、CMOS回路を不要とするアナログに近い漏れあり積分・発火動作が実現され、スピントロニクスニューロモーフィックシステムにおける学習効率が顕著に向上する。

ABSTRACT

Complementary metal oxide semiconductor (CMOS) devices display volatile characteristics, and are not well suited for analog applications such as neuromorphic computing. Spintronic devices, on the other hand, exhibit both non-volatile and analog features, which are well-suited to neuromorphic computing. Consequently, these novel devices are at the forefront of beyond-CMOS artificial intelligence applications. However, a large quantity of these artificial neuromorphic devices still require the use of CMOS, which decreases the efficiency of the system. To resolve this, we have previously proposed a number of artificial neurons and synapses that do not require CMOS for operation. Although these devices are a significant improvement over previous renditions, their ability to enable neural network learning and recognition is limited by their intrinsic activation functions. This work proposes modifications to these spintronic neurons that enable configuration of the activation functions through control of the shape of a magnetic domain wall track. Linear and sigmoidal activation functions are demonstrated in this work, which can be extended through a similar approach to enable a wide variety of activation functions.

研究の動機と目的

• 従来のスピントロニクスニューロモーフィックシステムにおける活性化関数の設定可能性の限界を克服すること。
• ニューロモーフィックコンピューティングにおける活性化関数制御にCMOS回路への依存を排除すること。
• 磁気ドメインウォールトラックの形状が多様な活性化関数を設計可能にできることを実証すること。
• 完全にスピントロニクス的手法に依存することで、効率的で非揮発的かつアナログなニューラルネットワーク動作を実現すること。

提案手法

• ドメインウォールの移動を制御する空間的に変化するエネルギー障壁を実現するために、段階的な幅プロファイルを有するドメインウォールトラックを設計する。
• 対称的で徐々に広がるトラックにより線形活性化が達成され、一定の漏れ速度が得られる。
• 圧縮（シグモイド型）活性化は、幅勾配を中央部に限定することで実現され、非線形な漏れ応答が得られる。
• mumax3を用いたマイクロ磁気シミュレーションにより、入力電流の変化に応じた統合、漏れ、発火動作の妥当性を検証する。
• スピン軌道効果トルク（SOT）電流を用いてスピン極化電子を注入し、ドメインウォールの運動を駆動する。
• 外部回路を必要とせず、トラック幅（w1）や曲率（b）などの幾何学的パラメータを調整することで活性化関数をチューニング可能である。

実験結果

リサーチクエスチョン

• RQ1 磁気ドメインウォールトラックの形状を用いてスピントロニクスニューロンの活性化関数を設定可能にできるか？
• RQ2 CMOSフリーのスピントロニクスニューロンにおいて、線形およびシグモイド型活性化関数を物理的に実現する方法は何か？
• RQ3 ドメインウォールニューロンにおける漏れの線形性および非線形性を制御する幾何学的パラメータは何か？
• RQ4 さまざまな活性化関数形状において、統合速度と安定性をどの程度維持できるか？
• RQ5 この手法を用いてニューラルネットワークで一般的に用いられる他の活性化関数を実装可能か？

主な発見

• 線形活性化関数は、トラックの曲率パラメータbが1〜5の範囲で達成され、b = 1では直線的トラックが得られ、bが増加するほど線形性と漏れ速度が向上する。
• 線形フィットに対する漏れ応答の平均二乗誤差（RMSE）は、bが増加するにつれて減少し、線形性の向上が示される。
• シグモイド（圧縮）活性化関数は、幅勾配を中央部に限定することで実現され、w1が100 nm〜400 nmの範囲で非線形な漏れ応答が得られる。
• 入力電流が0.1 mAの場合、w1が大きいとドメインウォールの不安定性により統合が非単調になるが、0.5 mAに上昇させることで単調かつ安定した統合が保証される。
• 統合速度は入力電流に比例して増加し、圧縮ニューロンではw1に反比例する。高電流では端縁の振動が抑制される。
• 提案手法により、CMOSフリーで形状に基づく活性化関数のチューニングが可能となり、完全スピントロニクス型ニューロモーフィックシステムにおけるオンチップ学習の実現に道を開く。