[論文レビュー] Deep Residual Learning in Spiking Neural Networks

Wei Fang, Zhaofei Yu+4 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Memory and Neural Computing参考文献 66被引用数 224

ひとこと要約

Spike-Element-Wise (SEW) ResNetを導入し、深く直接訓練されたスパイキングニューラルネットワークを可能にし、退化と勾配の消失/爆発を克服し、ImageNet、DVS Gesture、CIFAR10-DVSの直接訓練SNNの中で最先端の結果を達成。

ABSTRACT

Deep Spiking Neural Networks (SNNs) present optimization difficulties for gradient-based approaches due to discrete binary activation and complex spatial-temporal dynamics. Considering the huge success of ResNet in deep learning, it would be natural to train deep SNNs with residual learning. Previous Spiking ResNet mimics the standard residual block in ANNs and simply replaces ReLU activation layers with spiking neurons, which suffers the degradation problem and can hardly implement residual learning. In this paper, we propose the spike-element-wise (SEW) ResNet to realize residual learning in deep SNNs. We prove that the SEW ResNet can easily implement identity mapping and overcome the vanishing/exploding gradient problems of Spiking ResNet. We evaluate our SEW ResNet on ImageNet, DVS Gesture, and CIFAR10-DVS datasets, and show that SEW ResNet outperforms the state-of-the-art directly trained SNNs in both accuracy and time-steps. Moreover, SEW ResNet can achieve higher performance by simply adding more layers, providing a simple method to train deep SNNs. To our best knowledge, this is the first time that directly training deep SNNs with more than 100 layers becomes possible. Our codes are available at https://github.com/fangwei123456/Spike-Element-Wise-ResNet.

研究の動機と目的

• 深い、浅いアーキテクチャを超える深く効率的に訓練可能なスパイキングニューラルネットワーク（SNNs）の必要性を喚起する。
• 既存のSpiking ResNetが恒等写像と安定した勾配を実現する際の限界を分析する。
• SNNにおける真の残差学習を可能にするSpike-Element-Wise (SEW) residual blocksを提案する。
• SEW ResNetが>100層に拡張可能であり、複数のデータセットで最先端の直接訓練SNNより優れていることを実証する。

提案手法

• 離散時間ダイナミクス（Eqs. 1-3）とバックプロパゲーション用の代理勾配を持つ統一されたスパイキングニューロンモデルを定義する。
• Spiking ResNetを批判的に分析し、恒等写像を容易には実装できず、勾配の消失/爆発に苦しむことを示す（Eq. 8）。
• スパイク活性化の後に、残差と入力を要素ごとに関数 g（ADD、AND、IAND）で結合するSEW residual blocksを導入し、容易な恒等写像を実現する（Eq. 9）。
• SEW blocksが一定または制御された勾配伝搬を保証することにより、勾配の劣化を防ぐ仕組みを説明する（Eq. 11）。
• 深さ全体で勾配流を維持するために、SN対応ショートカットを用いたダウンサンプリングSEW blocksを提供する。

実験結果

リサーチクエスチョン

• RQ1 ANN-to-SNN変換を用いずに、直接訓練された深いSNNで残差学習を効果的に実現できるか？
• RQ2 SEW residual blocksは非常に深いSNNに対して安定した訓練と恒等写像を許容するか？
• RQ3 SEW ResNetsはImageNetおよびニューロモルフィックデータセットでSpiking ResNetsや既存のSNN手法と比較してどう性能を示すか？
• RQ4 異なる要素ごと関数 g（ADD、AND、IAND）が学習ダイナミクスと性能に与える影響は何か？

主な発見

• SEW ResNetはSpiking ResNetで観察された劣化の問題を克服し、より深いSEWネットワークがより高い精度を達成する（例：ImageNetの結果）。
• ImageNetでは、SEW ResNet-34/50/101/152はSpiking ResNetの対となるものより精度で上回り、SEW ResNet-101/152は直接訓練された>100層の最初の報告SNNである。
• SEW residual blocksは容易な恒等写像と安定した勾配伝搬を可能にし、勾配解析は深いSEWネットワークにおける勾配の消失/爆発の緩和を示している。
• SEW ResNetはニューロモルフィックデータセットで強い結果を達成：DVS GestureおよびCIFAR10-DVS、ADDベースのSEW blocksが多くのケースで最高の精度を提供し、少数のtime-stepsで済む。
• 最先端の直接訓練SNNおよびANN-to-SNN変換と比較して、SEW ResNetは競争力のあるまたは優れた精度を、いくつかのベンチマークで著しく低いレイテンシと少数のパラメータで達成する。