[論文レビュー] Temporal-Coded Deep Spiking Neural Network with Easy Training and Robust Performance

Shibo Zhou, Xiaohua Li+3 more|arXiv (Cornell University)|Sep 24, 2019

Advanced Memory and Neural Computing参考文献 39被引用数 16

ひとこと要約

本論文は、CIFAR10およびImageNetにおける直接的で簡単な訓練を可能にする時間コード化深層スパikingニューラルネットワーク（SNN）を提案する。テスト精度は同等のDNNと1%以内の差に抑えられる。スパiking波形ダイナミクスの閉形式解を活用することで、DNNに類似した訓練のしやすさを実現するとともに、8ビット、4ビット、2ビットの重み量子化およびノイズ摂動に対しても頑健性を示し、エネルギー効率の高いニューロモルフィックデプロイメントを可能にする。

ABSTRACT

Spiking neural network (SNN) is interesting both theoretically and practically because of its strong bio-inspiration nature and potentially outstanding energy efficiency. Unfortunately, its development has fallen far behind the conventional deep neural network (DNN), mainly because of difficult training and lack of widely accepted hardware experiment platforms. In this paper, we show that a deep temporal-coded SNN can be trained easily and directly over the benchmark datasets CIFAR10 and ImageNet, with testing accuracy within 1% of the DNN of equivalent size and architecture. Training becomes similar to DNN thanks to the closed-form solution to the spiking waveform dynamics. Considering that SNNs should be implemented in practical neuromorphic hardwares, we train the deep SNN with weights quantized to 8, 4, 2 bits and with weights perturbed by random noise to demonstrate its robustness in practical applications. In addition, we develop a phase-domain signal processing circuit schematic to implement our spiking neuron with 90% gain of energy efficiency over existing work. This paper demonstrates that the temporal-coded deep SNN is feasible for applications with high performance and high energy efficient.

研究の動機と目的

• スパikingニューラルネットワーク（SNN）における訓練の難易度という主要な課題に、標準的なベンチマーク上で直接的・エンドツーエンドの訓練を可能にするために対処すること。
• SNNが、エネルギー効率を維持したまま、深層ニューラルネットワーク（DNN）と同等の精度を達成できることを示すこと。
• 実用的なニューロモルフィックハードウェアデプロイメントを想定し、極端な重み量子化（8ビット、4ビット、2ビット）およびランダムな重み摂動に対してSNNの頑健性を検証すること。
• 90%のエネルギー効率向上を達成するフェーズドメイン信号処理回路を設計すること。

提案手法

• SNNは時間コード化を採用しており、情報がスパイクのタイミングにエンコードされる。これは、スパイク周波数やパラメトリックコード化とは異なり、情報が時間的配置に依存する。
• スパキング波形ダイナミクスのための閉形式解が導出され、反復的最適化を必要とせず、DNNに類似したバックプロパゲーションに類似した訓練が可能になる。
• 閉形式ダイナミクスを用いて、従来の代理勾配法に依存せずに、CIFAR10およびImageNet上で標準的なバックプロパゲーションを直接適用してネットワークを訓練する。
• 重みの量子化を8ビット、4ビット、2ビットに適用し、低精度制約下での頑健性をテストする。
• 訓練中にネットワークの重みにランダムノイズを注入し、ハードウェアの非理想性を模擬し、頑健性を向上させる。
• フェーズドメイン信号処理回路を設計し、スパキングニューロンを実装することで、既存の実装と比較して90%のエネルギー効率向上を達成した。

実験結果

リサーチクエスチョン

• RQ1 スパキングダイナミクスの閉形式解を用いることで、代理勾配に依存せずに、深層SNNを直接的かつ容易に訓練できるか？
• RQ2 時間コード化SNNは、CIFAR10およびImageNetにおいて、同等アーキテクチャのDNNとどの程度精度が近づけるか？
• RQ3 極端な重み量子化（8ビット、4ビット、2ビット）およびランダムな重み摂動に対してSNNはどの程度頑健か？
• RQ4 提案されたSNNは、測定可能なエネルギー効率の向上を伴い、ニューロモルフィックハードウェアに効率的に実装可能か？
• RQ5 提案されたフェーズドメイン回路は、既存の実装と比較して、どの程度エネルギー効率が向上するか？

主な発見

• 提案されたSNNは、CIFAR10およびImageNetの両方で、同等のDNNと1%以内のテスト精度に達し、DNNに類似した性能を示した。
• 2ビットの重み量子化に対しても高い精度を維持しており、低精度デプロイメントに対する強い頑健性を示した。
• ランダムな重み摂動に対してもモデルの耐性を示し、ニューロモルフィックハードウェアにおける実用的妥当性を確認した。
• フェーズドメイン回路実装は、既存のSNNハードウェア設計と比較して90%のエネルギー効率向上を達成した。
• 閉形式解により、深層SNNの直接的・エンドツーエンドの訓練が可能になり、複雑な代理勾配最適化の必要がなくなった。