[論文レビュー] Hardware Implementation of Spiking Neural Networks Using Time-To-First-Spike Encoding

Seongbin Oh, Dongseok Kwon+7 more|arXiv (Cornell University)|Jun 9, 2020

Advanced Memory and Neural Computing参考文献 48被引用数 16

ひとこと要約

本稿では、最初のスパイクの遅延に応じて情報が符号化される時間による最初のスパイク到達（TTFS）符号化を用いた、ハードウェアに優れたスパイクニューラルネットワーク（SNN）を提示する。提案されたSNNは、時間的誤差逆伝搬法を用い、MNISTで96.90%の精度を達成した。256時間ステップの条件下で、レート符号化SNNと比較して15.12倍の電力削減と5.68倍の高速な推論を達成した。NOR型アナログメモリと、不活性期を考慮したニューロン回路を用いたSPICEシミュレーションにより検証された。

ABSTRACT

Hardware-based spiking neural networks (SNNs) are regarded as promising candidates for the cognitive computing system due to low power consumption and highly parallel operation. In this work, we train the SNN in which the firing time carries information using temporal backpropagation. The temporally encoded SNN with 512 hidden neurons showed an accuracy of 96.90% for the MNIST test set. Furthermore, the effect of the device variation on the accuracy in temporally encoded SNN is investigated and compared with that of the rate-encoded network. In a hardware configuration of our SNN, NOR-type analog memory having an asymmetric floating gate is used as a synaptic device. In addition, we propose a neuron circuit including a refractory period generator for temporally encoded SNN. The performance of the 2-layer neural network consisting of synapses and proposed neurons is evaluated through circuit simulation using SPICE. The network with 128 hidden neurons showed an accuracy of 94.9%, a 0.1% reduction compared to that of the system simulation of the MNIST dataset. Finally, the latency and power consumption of each block constituting the temporal network is analyzed and compared with those of the rate-encoded network depending on the total time step. Assuming that the total time step number of the network is 256, the temporal network consumes 15.12 times lower power than the rate-encoded network and can make decisions 5.68 times faster.

研究の動機と目的

• 認知計算向けに低消費電力かつ高速なハードウェア実装のスパイクニューラルネットワーク（SNN）の開発を目的とする。
• TTFS符号化SNNのデバイス変動に対するロバストネスを、レート符号化SNNと比較して調査することを目的とする。
• より優れた時間的符号化忠実度を実現するため、不活性期生成回路を備えたカスタムニューロン回路の設計を目的とする。
• SPICEシミュレーションを用いて、TTFSベースSNNにおける電力、遅延、精度のトレードオフを評価することを目的とする。
• 非揮発性のスイッチングとアナログ重み更新を可能にする、非対称フローティングゲートを備えたNOR型アナログメモリを用いたハードウェア実現可能性の検証を目的とする。

提案手法

• SNNは、ニューロンの最初のスパイク到達時刻に情報が符号化される時間的誤差逆伝搬法を用いて訓練する。
• 生物学的スパイクタイミングをより正確にモデル化するため、不活性期生成回路を備えたカスタムニューロン回路を設計した。
• シナプス重みは、非揮発的記憶とアナログ重み更新を可能にするNOR型アナログメモリを用いて実装した。
• 電力、遅延、精度の評価のため、128個の隠れニューロンを有する2層アーキテクチャをSPICEでシミュレートした。
• 同じ条件でレート符号化SNNと比較評価した。全時間ステップ数は256に設定した。
• デバイス変動がネットワーク精度に与える影響を、TTFSとレート符号化SNNの両者で定量的に比較した。

実験結果

リサーチクエスチョン

• RQ1 同じトレーニングおよびハードウェア制約下で、TTFS符号化SNNの精度はレート符号化SNNと比べてどの程度か？
• RQ2 デバイス変動がTTFS符号化SNNの推論精度に与える影響は、レート符号化SNNと比べてどの程度か？
• RQ3 TTFS符号化SNNは、レート符号化SNNと比較して、電力消費をどの程度低減でき、推論速度をどの程度向上できるか？
• RQ4 ニューロン回路に不活性期生成回路を組み込むことで、TTFS符号化SNNの性能にどのような影響があるか？
• RQ5 非対称フローティングゲートを備えたNOR型アナログメモリを用いたハードウェア最適化SNNは、高精度を維持しながら低消費電力かつ高速な動作を達成できるか？

主な発見

• TTFS符号化SNNは、512個の隠れニューロンを用い、時間的誤差逆伝搬法を用いてMNISTテストセットで96.90%の精度を達成した。
• 128個の隠れニューロンを有するハードウェア最適化SNNは、SPICEシミュレーションで94.9%の精度を達成し、システムシミュレーション結果から0.1%の低下を示した。
• 256時間ステップの条件下で、TTFSネットワークはレート符号化ネットワークと比較して15.12倍の電力削減を達成した。
• 同じ時間ステップ設定下で、TTFSネットワークはレート符号化ネットワークと比較して5.68倍の高速な意思決定を実現した。
• デバイス変動がTTFS符号化SNNに与える負の影響は、レート符号化SNNと比較して小さく、より優れたロバストネスを示した。
• 提案された不活性期生成機能を備えたニューロン回路は、ハードウェアシミュレーションにおいて時間的符号化忠実度を効果的に維持した。