[論文レビュー] Implementation of a Binary Neural Network on a Passive Array of Magnetic Tunnel Junctions

Jonathan M. Goodwill, Nitin Prasad+10 more|arXiv (Cornell University)|Dec 16, 2021

Neural Networks and Applications参考文献 67被引用数 15

ひとこと要約

本論文は、自己相反性と低消費電力の特徴を活かして、磁気トンネル接合（MTJ）の15×15パassiveアレイを用いて、バイナリニューラルネットワークの高精度な推論を実証している。デバイスの非理想性（ばらつきや寄生抵抗）が存在するが、最適化されたネットワークパラメータチューニングにより、Wineデータセットで最大95.3％の分類精度を達成し、メモリ内AIアクセラレータ向けの耐障害性の高いハードウェアマッピングの可能性を裏付けた。

ABSTRACT

The increasing scale of neural networks and their growing application space have produced demand for more energy- and memory-efficient artificial-intelligence-specific hardware. Avenues to mitigate the main issue, the von Neumann bottleneck, include in-memory and near-memory architectures, as well as algorithmic approaches. Here we leverage the low-power and the inherently binary operation of magnetic tunnel junctions (MTJs) to demonstrate neural network hardware inference based on passive arrays of MTJs. In general, transferring a trained network model to hardware for inference is confronted by degradation in performance due to device-to-device variations, write errors, parasitic resistance, and nonidealities in the substrate. To quantify the effect of these hardware realities, we benchmark 300 unique weight matrix solutions of a 2-layer perceptron to classify the Wine dataset for both classification accuracy and write fidelity. Despite device imperfections, we achieve software-equivalent accuracy of up to 95.3 % with proper tuning of network parameters in 15 x 15 MTJ arrays having a range of device sizes. The success of this tuning process shows that new metrics are needed to characterize the performance and quality of networks reproduced in mixed signal hardware.

研究の動機と目的

• パassive MTJアレイを用いてメモリ内にニューラルネットワーク推論を直接実装することで、AIハードウェアにおけるフォン・ノイマンボトルネックを克服すること。
• デバイスばらつき、書き込みエラー、寄生抵抗、基板非理想性などのハードウェア非理想性がニューラルネットワーク性能に与える影響を定量化すること。
• 重み行列のばらつきを考慮したオフライン学習が、物理的欠陥に起因する性能劣化を補うハードウェア実装可能なモデルを提供できるかを評価すること。
• ミックスシグナルハードウェアにマッピングされたニューラルネットワークの品質を特徴付けるために、新たな性能指標の確立が必要であることを示すこと。

提案手法

• 著者らは、Wineデータセット上で2層パーセプトロンの重み行列を異なるランダム初期化を用いて300通りの異なる解を学習した。
• 各重み行列は15×15のパssive MTJクロスバー配列にマッピングされ、シナプス重みがデバイスのコンダクタンス状態として符号化された。
• システムは、低電圧動作下での線形重ね合わせを仮定して、ビットラインに沿ったアナログ電流の和算によりベクトル・マトリックス乗算（VMM）を実行した。
• 入力ベクトルの並列および直列の電流測定を比較することで、MTJアレイの線形挙動を検証した。0.5 Vまでで相対誤差が3％未満であることを確認した。
• 分類精度とシミュレートされた重み行列とハードウェア実装された重み行列との間のRMS偏差を用いて、ネットワーク性能を評価した。
• 最適なネットワークパrameterは、理論的最適化とは独立して、実験的精度を最大化するように重み正規化定数をチューニングすることで決定された。

実験結果

リサーチクエスチョン

• RQ1 デバイス非理想性が存在するにもかかわらず、パssive MTJアレイはソフトウェア同等のバイナリニューラルネットワーク推論精度を達成できるか？
• RQ2 デバイスばらつきや寄生抵抗などのハードウェア不具合が、マッピングされたニューラルネットワークの性能にどのように影響するか？
• RQ3 複数の重み行列解を用いたオフライン学習により、物理的ハードウェアにマッピングした際の高精度を達成する可能性が高まるか？
• RQ4 シミュレーションとハードウェア重みの間のRMS偏差を最小化する重み正規化定数が、実際に推論精度を最大化する最適値であるか？
• RQ5 アナログVMM計算において、パssive MTJアレイで電流の線形重ね合わせを信頼できるものと仮定できるか？

主な発見

• 著者らは、15×15パssive MTJアレイを用いてWineデータセットで最大95.3％の推論精度を達成し、ソフトウェアレベルの性能と一致した。
• デバイス間のばらつきや寄生抵抗が存在する中でも、特に重み正規化定数のきめ細やかなチューニングにより、高い精度を維持した。
• 300個の重み行列解の中央値としての推論精度は95.3％であり、多様なハードウェアマッピングにおいて一貫した性能を示した。
• 重み行列のシミュレーションとハードウェア実装との間のRMS偏差は正規化定数のチューニングで最小化されたが、必ずしも実際の精度を最大化するとは限らず、シミュレーションの忠実度と実世界の性能の間に乖離があることを示した。
• 実験的にMTJ電流の線形重ね合わせが妥当であることが裏付けられ、0.5 Vまでの印加電圧範囲で相対RMS偏差が3％未満、通常は1％程度であった。
• 個々のデバイス電流ノイズ（約10 nA、約1％）による測定不確実性が、全体の誤差の主な要因であったが、分類精度への悪影響は2％未満にとどまった。