[論文レビュー] Training Spiking Deep Networks for Neuromorphic Hardware

Eric Hunsberger, Chris Eliasmith|arXiv (Cornell University)|Jan 1, 2016

Advanced Memory and Neural Computing参考文献 14被引用数 109

ひとこと要約

この論文は、漏れのある積分・放電（LIF）ニューロンとノイズ正則化を用いて、スパイクニューラルネットワーク（SNN）において、ImageNetを含む5つのデータセットで最先端の性能を達成するスケーラブルな手法を提示する。LIF応答関数を滑らかにすることで導関数が有界になるようにし、出力にノイズを加えて訓練することで、エネルギー効率の高い神経形状ハードウェアへの実装を可能にする。

ABSTRACT

We describe a method to train spiking deep networks that can be run using leaky integrate-and-fire (LIF) neurons, achieving state-of-the-art results for spiking LIF networks on five datasets, including the large ImageNet ILSVRC-2012 benchmark. Our method for transforming deep artificial neural networks into spiking networks is scalable and works with a wide range of neural nonlinearities. We achieve these results by softening the neural response function, such that its derivative remains bounded, and by training the network with noise to provide robustness against the variability introduced by spikes. Our analysis shows that implementations of these networks on neuromorphic hardware will be many times more power-efficient than the equivalent non-spiking networks on traditional hardware.

研究の動機と目的

• 神経形状ハードウェア向けに正確に変換可能な、深層人工ニューラルネットワーク（ANN）をスケーラブルに訓練する手法の開発。
• 応答関数の導関数が無限大に発散する可能性がある複雑な非線形ニューロンモデル（例：LIFニューロン）を用いた訓練の課題の解決。
• スパイク列のばらつきを模擬するため、ニューロン出力にノイズを加えてSNNのロバストネスを向上。
• 本手法で訓練されたSNNが、従来のLIFベースSNNでは達成できなかった大規模ベンチマーク（例：ImageNet）で高い精度を達成できることの実証。
• 神経形状実装と従来のハードウェアとの間で得られるエネルギー効率の向上を分析・定量すること。

提案手法

• ReLU非線形性とマックスプーリングを用いた標準的な深層ANNを、標準的な誤差逆伝播法で訓練する。
• ReLUを、導関数が有界になるように滑らかにしたソフトLIF応答関数に置き換えることで、非線形性を介した誤差逆伝播を可能にする。
• 滑らかさを制御するためのソフトマックス関数 ρ2(x) = γ log[1 + e^{x/γ}] を使用する。ここで γ → 0 とすると、ハードスイッチングに回復する。
• 前方伝搬中に各ニューロンの出力にランダムなノイズを追加して訓練することで、スパイク列のばらつきを模擬する。
• スパイク列の時間的フィルタリングをモデル化するため、α関数型シナプスフィルタ（α(t) = (t/τs)e^{-t/τs}）を適用し、シナプス後電位を近似する。
• LIFニューロンを用いたスパイキングネットワークに、訓練済みのANNの重みとバイアスを転送し、設定可能な分類時間（c0, c1）とシナプス時定数（τs）を設定する。

実験結果

リサーチクエスチョン

• RQ1 LIFニューロンを用いた深層ANNを、高い分類精度を維持したままSNNに正確に変換できるか？
• RQ2 訓練時にノイズを加えることで、スパイク列のばらつきを模擬した場合、得られるSNNのロバストネスと精度にどのような影響があるか？
• RQ3 シナプスフィルタリングと分類時間の影響は、SNNの精度とエネルギー効率にどのようなものか？
• RQ4 本手法は、LIFベースSNNを用いて、ImageNet ILSVRC-2012のような大規模ベンチマークにスケーラブルに適用可能か？
• RQ5 発火レートとネットワーク設計は、神経形状実装におけるエネルギー効率にどのように影響するか？

主な発見

• 本手法は、ImageNet ILSVRC-2012を含む5つのデータセットで、SNNの最先端性能を達成した。LIFニューロンを用いてトップ1誤差16.2%を記録した。
• ソフトLIF応答関数により、導関数が有界になるため、安定した誤差逆伝播が可能となり、ハードLIF閾値に切り替えた場合の精度低下は最小限に抑えられた。
• ノイズを用いた訓練により、スパイキングのばらつきに起因する誤差が低減され、CIFAR-10ではノイズなしのANNよりもSNNの精度が0.6%向上した（ただし、ANN自体はノイズなしでより良い性能を示した）。
• CIFAR-10およびImageNetでは、シナプスを除去（τs = 0 ms）しても精度に顕著な影響がなく、スパイク列フィルタリングに対して高いロバストネスを示した。
• MNISTネットワークでは、平均発火レートが低いため（9.67 Hz）、τs > 0 が必要な場合があるのに対し、高レートネットワークとは異なった挙動を示した。
• 分類時間（c1）と開始時間（c0）は精度に顕著な影響を及ぼし、最適な値はネットワークアーキテクチャと発火レートに依存する。