[論文レビュー] Spiking Deep Networks with LIF Neurons

Eric Hunsberger, Chris Eliasmith|arXiv (Cornell University)|Oct 29, 2015

Advanced Memory and Neural Computing参考文献 14被引用数 217

ひとこと要約

この論文では、生物学的に現実的な漏れ積算・放電（LIF）ニューロンを用いて深層畳み込みニューラルネットワークを訓練する手法を提示し、CIFAR-10（1.63%の誤差）およびMNIST（1.63%の誤差）データセットで最先端の性能を達成した。LIFニューロン応答を滑らかにすることで誤差逆伝播が可能になり、ノイズを用いた学習でスパイクのばらつきに対する耐性が向上する。このアプローチにより、より単純な積算・放電モデルに依存せずに、高精度なスパイクネットワークが実現可能となった。

ABSTRACT

We train spiking deep networks using leaky integrate-and-fire (LIF) neurons, and achieve state-of-the-art results for spiking networks on the CIFAR-10 and MNIST datasets. This demonstrates that biologically-plausible spiking LIF neurons can be integrated into deep networks can perform as well as other spiking models (e.g. integrate-and-fire). We achieved this result by softening the LIF response function, such that its derivative remains bounded, and by training the network with noise to provide robustness against the variability introduced by spikes. Our method is general and could be applied to other neuron types, including those used on modern neuromorphic hardware. Our work brings more biological realism into modern image classification models, with the hope that these models can inform how the brain performs this difficult task. It also provides new methods for training deep networks to run on neuromorphic hardware, with the aim of fast, power-efficient image classification for robotics applications.

研究の動機と目的

• 標準のReLUやIFニューロンではなく、生物学的に現実的なLIFニューロンを用いて深層スパイキングニューラルネットワークを訓練する手法を開発すること。
• 推論時にスパイクイベントの離散的性質がもたらすばらつきに対して、スパイキングネットワークの耐性を高めること。
• 静的レートベースのネットワークから動的スパイクネットワークへの転移性を確保し、顕著な精度損失なしに実現すること。
• IFニューロンよりも生物学的に現実的なLIFニューロンが、深層スパイキングネットワークで最先端の性能を達成できることを示すこと。

提案手法

• 誤差逆伝播のための有界な勾配を保証するため、事前に訓練済みの深層CNNにおけるReLU非線形性を、LIFニューロン応答関数の滑らかにした版に置き換える。
• スパイクトレイン符号化に内在するばらつきを模倣するために、学習中に加法的ガウスノイズを用い、スパイキングダイナミクスに対する耐性を高める。
• LIFニューロンとの順方向互換性を確保するため、元のCNNアーキテクチャを変更し、マックスプーリングを平均プーリングに、局所的応答正規化を削除する。
• 重みとバイアスを静的ネットワークからスパイキングネットワーク（LIFニューロンで構成）に転送し、ネットワーク構造と接続性を維持する。
• 重み減衰と確率的勾配降下法を用いて標準的な誤差逆伝播で静的ネットワークを学習し、その後ノイズ注入によるファインチューニングを実施する。
• LIFニューロン出力にソフトスレッショルド関数を適用し、ハードスパイクスレッショルドを連続的かつ微分可能な近似に置き換える。

実験結果

リサーチクエスチョン

• RQ1 生物学的に現実的なLIFニューロンを用いた深層スパイキングネットワークは、より単純なIFニューロンで訓練された最先端のスパイキングネットワークと同等の性能を達成できるか？
• RQ2 LIFニューロン応答の不連続性と微分不能性をどのように克服すれば、深層ネットワークにおける効果的な誤差逆伝播が可能になるか？
• RQ3 ノイズを用いた学習が、スパイクベース通信に起因するばらつきに対してスパイキングネットワークの耐性をどの程度向上させるか？
• RQ4 静的アーキテクチャから動的スパイクアーキテクチャへの転移において、レートベースネットワークとスパイキングネットワークの性能差をどの程度小さくできるか？

主な発見

• 提案手法はMNISTデータセットで1.63%のテスト誤差を達成し、LIFニューロンを用いたスパイキングネットワークにおける最高の公表済み結果と一致した。
• CIFAR-10データセットでは、1.63%のテスト誤差を達成し、LIFニューロンを用いたスパイキングネットワークにおける最高の公表済み結果となった。
• ノイズを用いた学習により、ノイズなしの学習と比較してスパイキングネットワークの誤差が3.4%低下し、スパイクに起因するばらつきの緩和に有効であることが示された。
• 滑らかなLIF応答関数により安定した誤差逆伝播が可能となり、滑らかにした関数からハードスレッショルド関数に切り替えた際の性能低下が最小限に抑えられた。
• 層間の平均発火周波数が視覚皮質の典型的な値を上回っており、将来的なスパarsificationによるエネルギー消費の低減の可能性を示唆した。
• 本手法は一般化可能であり、現代の神経形状ハードウェアで用いられる他のニューロンモデルにも応用可能である。