[論文レビュー] An All-Memristor Deep Spiking Neural Network: A Step Towards Realizing the Low Power, Stochastic Brain.

Parami Wijesinghe, Aayush Ankit+2 more|arXiv (Cornell University)|Dec 5, 2017

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、ナノスケールのメモリスタの固有の確率的性質を活用して生物学的発火ニューロンを模倣する、完全にメモリスタベースのディープスパikingニューラルネットワーク（SNN）を提案している。これにより、低消費電力で脳にインspiredされた計算が可能になる。この手法は、変更を加えたトレーニングプロセスを用いて、深層アナログANNをSNNに変換し、デバイスおよび回路の非理想性下でも1%の精度低下に抑えながら、CMOS実装と比較して約11倍のエネルギー消費削減を達成した。

ABSTRACT

Deep 'Analog Artificial Neural Networks' (ANNs) perform complex classification problems with remarkably high accuracy. However, they rely on humongous amount of power to perform the calculations, veiling the accuracy benefits. The biological brain on the other hand is significantly more powerful than such networks and consumes orders of magnitude less power, indicating us about some conceptual mismatch. Given that the biological neurons communicate using energy efficient trains of spikes, and the behavior is non-deterministic, incorporating these effects in deep neural networks may drive us few steps towards a more realistic neuron. In this work, we propose how the inherent stochasticity of nano-scale resistive devices can be harnessed to emulate the functionality of a spiking neuron that can be incorporated in a deep Spiking Neural Networks (SNN). At the algorithmic level, we propose how the training can be modified to convert an ANN to an SNN while supporting the stochastic activation function offered by these devices. We devise circuit architectures to incorporate stochastic memristive neurons along with memristive crossbars which perform the functionality of the synaptic weights. We tested the proposed All Memristor deep SNN for image classification and observed only about 1% degradation in accuracy with the deep analog ANN baseline after incorporating the circuit and device related non-idealities. We witnessed that the network is robust to variations and consumes ~x11 less energy than its CMOS counterpart.

研究の動機と目的

• 深層アナログ人工ニューラルネットワーク（ANN）の高い消費電力の問題を、生物学的脳のエネルギー効率にインスパイアして解決すること。
• ナノスケールの抵抗性デバイス（メモリスタ）の固有の確率的性質を活用して、外部のノイズ源を必要とせず、自然にスパikingニューロンの挙動を実装すること。
• シナプスの重みをメモリスティブクロスバーで、神経処理を確率的メモリスティブニューロンで行う、完全にメモリスタベースのSNNアーキテクチャを設計すること。
• 事前にトレーニングされた深層ANNをSNNに変換できるように変更されたトレーニング手法を開発し、デバイスおよび回路の非理想性下でも精度を維持すること。
• 実世界の画像分類タスクにおいて、提案されたSNNの頑健性とエネルギー効率を実証すること。

提案手法

• ナノスケールのメモリスタの固有の確率的スイッチング特性を活用して、生物学的ニューロンの確率的スパイク生成を模倣する。
• メモリスティブニューロンが入力電流の確率的しきい値処理に基づいてスパイクを生成する回路アーキテクチャを設計し、スパイク時間依存可塑性を模倣する。
• メモリスティブクロスバーを用いてシナプスの重みを格納し、メモリ内計算を実現することで、データ移動のエネルギーを削減する。
• バックプロパゲーション中に合成重みを調整することで、確率的活性化関数に対応するようにトレーニングプロセスを適応させる。
• デバイスレベルの非理想性（例：ばらつき、抵抗値のドリフト）をシミュレーションに統合し、頑健性と実世界での実現可能性を評価する。
• 標準ベンチマークを用いて画像分類タスクでSNNを検証し、CMOSベースのSNNおよび元のANNと比較して精度とエネルギー効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 ナノスケールのメモリスタの固有の確率的性質を、外部のノイズを注入せずにスパキングニューロン機能を実装するために効果的に活用できるか？
• RQ2 デバイスおよび回路の非理想性下でも高い分類精度を維持しながら、深層アナログANNをメモリスタベースのSNNに変換する方法は何か？
• RQ3 提案されたすべてメモリスタSNNアーキテクチャは、実世界のデバイス変動にさらされた場合、精度とエネルギー効率をどの程度維持できるか？
• RQ4 従来のCMOSベースのSNNおよびANNと比較して、提案されたメモリスタベースSNNのエネルギー効率の向上はどの程度か？
• RQ5 推論中にメモリスタの抵抗値およびスイッチング行動の変動に対して、ネットワークはどの程度頑健か？

主な発見

• 提案されたすべてメモリスタSNNは、現実的なデバイスおよび回路の非理想性にさらされても、元の深層アナログANNベースラインと比較してわずか1%の精度低下に抑えられた。
• ナノスケールのメモリスタに内在するパrameterのばらつきに対して強い頑健性を示し、複数回のテスト実行においても高い性能を維持した。
• メモリスタベースSNNは、そのCMOSベースの対応物と比較して約11倍のエネルギー消費削減を達成し、顕著なエネルギー効率の向上を示した。
• メモリスタの挙動から導出された確率的活性化関数は、追加の回路やノイズ注入を必要とせず、自然にスパイク生成を可能にした。
• 変更されたトレーニング手法により、事前にトレーニングされた深層ANNを、メモリスタの物理的性質を活用しながらも高い精度を維持したSNNに効果的に変換できた。
• シナプスの重みをメモリスティブクロスバーで統合することで、メモリ内計算が可能となり、推論フェーズにおけるエネルギー消費と遅延が削減された。