[論文レビュー] Developing a supervised training algorithm for limited precision feed-forward spiking neural networks

Evangelos Stromatias|arXiv (Cornell University)|Sep 13, 2011

Advanced Memory and Neural Computing参考文献 37被引用数 5

ひとこと要約

本論文は、限定的精度（重みには3ビット、遅延には3ビット）を用いてシナプス重みと遅延を最適化する遺伝的アルゴリズムを用いて、順方向型スパイクニューラルネットワークの教師あり学習アルゴリズムを提案する。XORおよびFisherのアヤメ分類タスクにおいて、SpikeProp、QuickProp、Rpropよりも優れた性能を達成しており、マイコン上でのハードウェア実装に成功し、エネルギー効率の高いニューロモルフィックコンピューティングの可能性を示している。

ABSTRACT

Spiking neural networks have been referred to as the third generation of artificial neural networks where the information is coded as time of the spikes. There are a number of different spiking neuron models available and they are categorized based on their level of abstraction. In addition, there are two known learning methods, unsupervised and supervised learning. This thesis focuses on supervised learning where a new algorithm is proposed, based on genetic algorithms. The proposed algorithm is able to train both synaptic weights and delays and also allow each neuron to emit multiple spikes thus taking full advantage of the spatial-temporal coding power of the spiking neurons. In addition, limited synaptic precision is applied; only six bits are used to describe and train a synapse, three bits for the weights and three bits for the delays. Two limited precision schemes are investigated. The proposed algorithm is tested on the XOR classification problem where it produces better results for even smaller network architectures than the proposed ones. Furthermore, the algorithm is benchmarked on the Fisher iris classification problem where it produces higher classification accuracies compared to SpikeProp, QuickProp and Rprop. Finally, a hardware implementation on a microcontroller is done for the XOR problem as a proof of concept. Keywords: Spiking neural networks, supervised learning, limited synaptic precision, genetic algorithms, hardware implementation.

研究の動機と目的

• 限定的シナプス精度をサポートするスパイクニューラルネットワークの教師あり学習アルゴリズムの開発を目的とする。
• 単一の最適化フレームワークを用いて、シナプス重みと遅延の両方を訓練可能にする。
• ニューロンが1入力あたり複数のスパイクを発火させることを許容することで、時間的符号化を活用する。
• SpikeProp、QuickProp、Rpropなどの既存のバックプロパゲーション手法と比較して、性能をベンチマークすること。
• マイコン上でのハードウェア実装を通じて、実用的実装可能性を検証すること。

提案手法

• 遺伝的アルゴリズムを用いて、順方向型スパイクニューラルネットワーク内のシナプス重みと遅延を進化させる。
• シナプスは6ビットで表現される：重みに3ビット、遅延に3ビットを割り当て、限定的精度の学習を可能にする。
• ネットワークは時間的符号化を用い、ニューロンが情報を符号化するために複数のスパイクを発火できる。
• フィットネス評価は分類精度に基づき、誤差の最小化が進化的選択を駆動する。
• 性能評価のため、XORおよびFisherのアヤメデータセットに本アルゴリズムを適用する。
• リアルタイム実行可能性と低消費電力動作を示すために、マイコン上にハードウェアプロトタイプを実装する。

実験結果

リサーチクエスチョン

• RQ1 遺伝的アルゴリズムは、限定的精度の重みと遅延を備えたスパイクニューラルネットワークを効果的に訓練できるか？
• RQ2 ニューロン1つあたり複数のスパイクを許容することで、スパイクネットワークの分類性能が向上するか？
• RQ3 SpikeProp、QuickProp、Rpropなどのバックプロパゲーションベースの手法と比較して、本手法の精度と効率性はどのように異なるか？
• RQ4 訓練されたネットワークは低消費電力マイコン上で正常に実装可能か？
• RQ5 6ビット表現（重みに3ビット、遅延に3ビット）によるシナプス精度の低減が、ネットワーク性能に与える影響は何か？

主な発見

• 提案手法は、より小さなネットワークサイズですでに報告されたアーキテクチャを上回る、XOR問題におけるより優れた分類結果を達成した。
• Fisherのアヤメデータセットにおいて、本手法はSpikeProp、QuickProp、Rpropのすべてを分類精度の面で上回った。
• ニューロン1つあたり複数のスパイクを用いることで、時間的符号化を活用した性能向上がネットワークの能力を高めた。
• アルゴリズムは重みと遅延を同時に訓練でき、表現力の向上に寄与した。
• マイコン上でのハードウェア実装により、低消費電力埋め込みシステムへの訓練済みネットワークの展開可能性が確認された。
• 6ビット精度方式（重みに3ビット、遅延に3ビット）は高い性能を維持しており、超低精度スパイクネットワークの実現可能性を示した。