[論文レビュー] Direct Training for Spiking Neural Networks: Faster, Larger, Better

Yujie Wu, Lei Deng+3 more|arXiv (Cornell University)|Sep 16, 2018

Advanced Memory and Neural Computing被引用数 106

ひとこと要約

この論文は、明示的に反復的なLIFモデル、NeuNorm正規化、最適化されたレート符号化を用いた深層スパイキングニューラルネットワーク（SNN）の直接訓練フレームワークを提示し、ニューロモルフィックおよび非スパイキングデータセットで競争力のある精度を達成する大規模で高速なSNN訓練を実現できる。

ABSTRACT

Spiking neural networks (SNNs) that enables energy efficient implementation on emerging neuromorphic hardware are gaining more attention. Yet now, SNNs have not shown competitive performance compared with artificial neural networks (ANNs), due to the lack of effective learning algorithms and efficient programming frameworks. We address this issue from two aspects: (1) We propose a neuron normalization technique to adjust the neural selectivity and develop a direct learning algorithm for deep SNNs. (2) Via narrowing the rate coding window and converting the leaky integrate-and-fire (LIF) model into an explicitly iterative version, we present a Pytorch-based implementation method towards the training of large-scale SNNs. In this way, we are able to train deep SNNs with tens of times speedup. As a result, we achieve significantly better accuracy than the reported works on neuromorphic datasets (N-MNIST and DVS-CIFAR10), and comparable accuracy as existing ANNs and pre-trained SNNs on non-spiking datasets (CIFAR10). {To our best knowledge, this is the first work that demonstrates direct training of deep SNNs with high performance on CIFAR10, and the efficient implementation provides a new way to explore the potential of SNNs.

研究の動機と目的

• 深層SNNの直接訓練がANNSと比較して依然として困難である理由を動機付け、対処する。
• 訓練と収束を改善するためのアルゴリズム的進歩（NeuNorm、レート符号化最適化）を提案する。
• 大規模なSNNを可能にする、明示的に反復的なLIF定式化をPyTorch互換で提供する。
• ニューロモルフィックおよび非スパイキングデータセットでの訓練の大幅な高速化と競争力のある精度を示す。

提案手法

• Leaky Integrate-and-Fire (LIF)モデルをMLフレームワークと互換性のある明示的に反復的な形に変換する。
• NeuNormを導入して、層内の特徴マップ間でニューロン活動を正規化することでニューロン選択性をバランスさせる。
• 入力符号化と出力デコードのためのレート符号化を最適化して、必要なシミュレーション長を短縮する。
• NeuNormと修正LIFを時空間バックプロパゲーション（STBP）フレームワークに統合して直接訓練を実現する。
• エンドツーエンド訓練のための疑似コードとPyTorch実装（Algorithm 2）を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層SNNを直接訓練して、ニューロモルフィックおよび非スパイキングデータセットの両方でANNベースのベンチマークと競合する精度を達成できるか。
• RQ2 NeuNormは深層SNNのニューロン選択性と訓練収束を改善するか。
• RQ3 explicitly iterative LIFモデルとPyTorchベースの実装を用いることで、どの程度の速度upとスケーラビリティが達成できるか。
• RQ4 最適化されたレート符号化が、N-MNIST、DVS-CIFAR10、CIFAR10などのデータセットで訓練効率と精度に与える影響はどの程度か。

主な発見

• 深層SNNの直接訓練（最大8層）は、既往のSNN研究と比較してニューロモルフィックデータセットで優れた精度を示す。
• NeuNormは特徴マップ間での活動をバランスさせることで訓練収束と分類性能を改善する。
• PyTorch実装の明示的に反復的LIFモデルは、Matlabベースの実装と比較して数十倍の速度向上を提供する。
• このアプローチはN-MNISTでの最高報告精度（NeuNorm付き：99.53%）とDVS-CIFAR10（60.5%）を達成し、CIFAR10でも競争力のある結果（NeuNorm付きで90.53%）を示す。
• 符号化/デコード方式は必要なシミュレーション長を（4–8ステップ）削減しつつ性能を維持する。
• ネットワークのスケーリングは、ANN研究での知見に類似し、より大規模なアーキテクチャで精度が向上することを示す。