[論文レビュー] Algorithm and Hardware Design of Discrete-Time Spiking Neural Networks Based on Back Propagation with Binary Activations

Shihui Yin, Shreyas Kolala Venkataramanaiah+5 more|arXiv (Cornell University)|Sep 19, 2017

Advanced Memory and Neural Computing参考文献 14被引用数 5

ひとこと要約

本論文は、非微分可能なスパイク発火行動による学習の難しさを克服するため、バイナリ活性化とストレートスラッジ勾配推定器を用いた、離散時間スパイクニューラルネットワーク（SNN）のバックプロパゲーションに基づく学習アルゴリズムを提案する。2つのSNN変種—不連続統合と連続統合—を導入し、レート符号化および時間的符号化されたスパイクからの有効な学習を可能にし、40nm CMOSニューロモルフィックハードウェアで1画像あたり48.4–773 nJのエネルギー消費でMNISTで98%以上の精度を達成する。

ABSTRACT

We present a new back propagation based training algorithm for discrete-time spiking neural networks (SNN). Inspired by recent deep learning algorithms on binarized neural networks, binary activation with a straight-through gradient estimator is used to model the leaky integrate-fire spiking neuron, overcoming the difficulty in training SNNs using back propagation. Two SNN training algorithms are proposed: (1) SNN with discontinuous integration, which is suitable for rate-coded input spikes, and (2) SNN with continuous integration, which is more general and can handle input spikes with temporal information. Neuromorphic hardware designed in 40nm CMOS exploits the spike sparsity and demonstrates high classification accuracy (>98% on MNIST) and low energy (48.4-773 nJ/image).

研究の動機と目的

• バックプロパゲーションを用いた離散時間スパイクニューラルネットワーク（SNN）の学習に直面する課題、特に非微分可能なスパイク発火行動による制限を解決すること。
• バイナリ活性化を用いたSNNの効率的学習を可能にするため、バイナリ化されたニューラルネットワークにインspiredされたストレートスラッジ勾配推定器を採用すること。
• レート符号化された入力スパイクを処理できる不連続統合と、時間的符号化された入力スパイクを処理できる連続統合をそれぞれ有する2つのSNNアーキテクチャの設計。
• スパイクの疎性を活用して低消費電力動作を実現する40nm CMOSにおけるニューロモルフィックハードウェア実装の開発。
• MNISTのようなベンチマークデータセットで高い分類精度を達成するとともに、超低消費電力を維持すること。

提案手法

• 漏れ積分・発火型スパイクニューロンにおけるバイナリ活性化を通過する勾配をバックプロパゲートするためにストレートスラッジ勾配推定器を採用する。
• レート符号化入力に適した不連続統合を用いたSNN学習アルゴリズムと、時間的符号化に適した連続統合を用いた別のSNN学習アルゴリズムを提案する。
• 膜電位のしきい値に基づくバイナリ出力（0または1）を用いた離散時間定式化により、スパイクニューロンのダイナミクスをモデル化する。
• 非微分可能なしきい値に対しても勾配伝播を可能にするために、バイナリ活性化関数をバックプロパゲーションフレームワークに統合する。
• スパイクの疎性に最適化された40nm CMOSニューロモルフィックハードウェアアーキテクチャを設計する。
• 推論中に動的および静的消費電力を最小限に抑えるために、ハードウェアにおけるスパイクの疎性を活用する。

実験結果

リサーチクエスチョン

• RQ1 バイナリ活性化を有する離散時間スパイクニューラルネットワークにバックプロパゲーションを効果的に適用できるか？
• RQ2 SNNの学習において、スパイク生成の非微分性はどのように扱えるか？
• RQ3 連続統合を用いたSNNは、不連続統合を用いたものよりも時間的スパイクパターンをより効果的に学習できるか？
• RQ4 バイナリ活性化とバックプロパゲーションを用いたハードウェア実装SNNの達成可能な精度とエネルギー効率はどの程度か？
• RQ5 40nm CMOSにおけるニューロモルフィックハードウェアは、1画像あたり1ミリジュール未満のエネルギーで高精度を達成できるか？

主な発見

• 連続統合を用いた提案SNNは、MNISTデータセットで98%を超える分類精度を達成した。
• 40nm CMOSにおけるハードウェア実装は、ネットワーク構成に応じて1画像あたり48.4–773 nJのエネルギー効率を達成した。
• バイナリ活性化とストレートスラッジ勾配推定器の使用により、SNNにおける安定的かつ効果的なバックプロパゲーションが可能になった。
• 不連続統合バージョンはレート符号化入力スパイクに対して有効であり、連続統合バージョンはより洗練された時間的符号化をサポートした。
• ニューロモルフィックハードウェア設計は、スパイクの疎性を効果的に活用し、推論中のエネルギー消費を最小限に抑えた。
• 結果として、バイナリ活性化とバックプロパゲーションを有するSNNは、従来のDNNと同等の効率性を示す高精度と超低消費電力で実現可能であることが示された。