[論文レビュー] An All-Memristor Deep Spiking Neural Computing System: A Step Towards Realizing the Low Power,Stochastic Brain

Parami Wijesinghe, Aayush Ankit+2 more|arXiv (Cornell University)|Dec 5, 2017

Advanced Memory and Neural Computing参考文献 34被引用数 3

ひとこと要約

本論文は、ナノスケールメモリスターの固有の確率的性質を活用して確率的スパイクニューロンを模倣し、メモリスティブクロスバーをシナプス重みに用いる、完全にメモリスターで構成された深層確率的スパイクニューラルネットワーク（SNN）を提案する。このシステムは、ベースラインの深層ANNと比較してMNISTでわずか1%の精度低下に抑えられ、CMOS実装と比較して6.4倍のエネルギー削減を達成しており、デバイスのばらつきに対して頑健であり、低消費電力ニューロモーフィックコンピューティングの可能性を示している。

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in Deep Artificial Neural Networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in deep stochastic Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep stochastic SNN for image classification and observed only about 1% degradation in accuracy with the ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to certain variations and consumes ~ 6.4x less energy than its CMOS counterpart.

研究の動機と目的

• 脳の低消費電力で確率的なスパイク行動を模倣することで、深層ニューラルネットワークにおける消費電力と精度のギャップを埋めること。
• ナノスケールメモリスターの内在的確率的性質を抑制する代わりに、確率的ニューロン行動の機能的特徴として活用すること。
• ニューロンとシナプス重みの両方を完全にメモリスターで構成するアーキテクチャを設計し、ハードウェア効率的で低消費電力のSNNを実現すること。
• 現実的なデバイスおよび回路の非理想性を想定した場合の、提案された完全メモリスターSNNの頑健性とエネルギー効率を実証すること。
• 決定的近似に依存せずに、メモリスティブデバイスを用いてエンドツーエンドのSNNの学習と推論を可能にすること。

提案手法

• 本論文は、入力パルス幅の変動に伴うスイッチング確率を用いて、確率的活性化関数を模倣する個々のメモリスターをスパイクニューロンとして使用することを提案する。
• シナプス重みの実装にメモリスティブクロスバーアレイを採用し、入力スパイクと重みの間でアナログ内積計算を実行する。
• 事前に訓練された深層ANNを確率的SNNに変換するための修正された学習手順を採用し、メモリスターニューロンの確率的挙動を反映させる。
• 信号タイミングの管理とメモリスティブアレイとのインターフェースを実現するため、バッファ、アンプ、インバーターなどの回路レベル部品を設計に組み込む。
• 128×128のメモリスティブクロスバーアレイ構造（セルサイズ100F²）を用いて評価を行い、デバイスおよび回路パrametersから遅延と面積推定値を導出する。
• 頑健性は、シナプス重み（σ < 20%）、ニューロンバイアス電圧（<200 mV）、スイッチング確率曲線、および書き込みパルス幅（約50%の変動）のばらつきを注入することで分析する。

実験結果

リサーチクエスチョン

• RQ1 ナノスケールメモリスターの内在的確率的性質を、信頼性の問題としてではなく、ニューロモーフィックコンピューティングにおける機能的特徴として活用できるか？
• RQ2 ニューロンとシナプスの両方をメモリスターのみで実装することで、深層スパイクニューラルネットワークをどのように学習・実装できるか？
• RQ3 提案された完全メモリスターSNNは、デバイスおよび回路の非理想性に対してどの程度の分類精度を維持できるか？
• RQ4 従来のCMOSベースのSNNと比較して、完全メモリスターSNNのエネルギーおよび面積遅延効率はどの程度か？
• RQ5 固定された確率的活性化曲線がある条件下でも、動作速度の変動にかかわらず性能を維持できるか？

主な発見

• 完全メモリスター型深層確率的SNNは、元の深層ANNベースラインと比較して、MNISTデータセットでわずか1%の精度低下に抑えられる。
• シナプス重みのばらつき（σ < 20%）、ニューロンバイアス電圧（<200 mV）、および書き込みパルス幅（最大約50%の変動）に対して、システムは頑健である。
• このシステムは、同等のCMOSベースのSNN実装と比較して、約6.4倍のエネルギー削減を達成する。
• 提案された設計の面積×遅延積は、CMOS同等品の8倍小さく、優れたエネルギー遅延効率を示している。
• メモリスターのニューロンのエネルギー消費は、長時間の書き込みパルス幅に伴い減少するが、パルス持続時間が延びるため総エネルギーは増加するため、設計最適化におけるトレードオフが生じる。
• 異なる書き込み時間においても、メモリスターのスイッチング確率曲線の傾きが一定であるため、速度要件の変化に対しても安定した性能を維持でき、精度損失なしに動作可能である。