[論文レビュー] Robust and accelerated single-spike spiking neural network training with applicability to challenging temporal tasks

Luke Taylor, Andrew P. King+1 more|arXiv (Cornell University)|May 30, 2022

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本稿では、逐次的な時間依存処理を並列化可能なGPU加速型畳み込みに置き換えることで、高速で安定的かつ微分可能な単一スパイクSNNのトレーニング手法を提案する。この手法により、最大13.98倍の高速化と、マルチスパイクSNNと比較して81%のスパイク削減が達成され、可 trainable膜時間定数を用いることで、挑戦的な時間的ニューロモーフィックデータセットにおいてマルチスパイクSNNと同等の性能を発揮する。

ABSTRACT

Spiking neural networks (SNNs), particularly the single-spike variant in which neurons spike at most once, are considerably more energy efficient than standard artificial neural networks (ANNs). However, single-spike SSNs are difficult to train due to their dynamic and non-differentiable nature, where current solutions are either slow or suffer from training instabilities. These networks have also been critiqued for their limited computational applicability such as being unsuitable for time-series datasets. We propose a new model for training single-spike SNNs which mitigates the aforementioned training issues and obtains competitive results across various image and neuromorphic datasets, with up to a $13.98 imes$ training speedup and up to an $81\%$ reduction in spikes compared to the multi-spike SNN. Notably, our model performs on par with multi-spike SNNs in challenging tasks involving neuromorphic time-series datasets, demonstrating a broader computational role for single-spike SNNs than previously believed.

研究の動機と目的

• 単一スパイクSNNのトレーニングが遅く不安定であるという重要な課題に取り組み、それ以外の面で極めてエネルギー効率が良いことの利点を活かす。
• 単一スパイクSNNのトレーニングにおけるデッドニューロン問題を克服し、慎重な正則化に依存しないようにする。
• 単一スパイクSNNが、従来はそのようなネットワークに不適切とされてきた、ニューロモーフィック時系列データセットのような複雑な時間的タスクで競争力のある性能を発揮できるようにする。
• シナプス重み以外の可学習パラメータを含む多様なアーキテクチャをサポートする汎用的で微分可能なトレーニングフレームワークを開発する。

提案手法

• 時間依存の逐次的処理を、並列化可能な畳み込み処理に置き換えることで、時間的依存性を排除し、トレーニングを高速化する。
• スパイク時刻ではなく膜電位を介して勾配を伝搬させるサーロゲート勾配を用いることで、非微分可能なSNNにおける安定なバックプロパゲーションを可能にする。
• 可学習な膜時間定数を導入することで、ニューロンが複数の時間スケールにわたって入力を統合できるようにし、時間的処理能力を向上させる。
• 順伝播、階層的、畳み込みネットワークアーキテクチャをすべてサポートする完全に微分可能なトレーニングパイプラインを設計する。
• バッチ処理とGPU最適化された演算を適用することで、計算効率を最大化しながらトレーニングの安定性を維持する。
• スパイクベースの勾配信号に依存しないようにすることで、初期状態がスパイクなしの状態であっても安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 単一スパイクSNNは、時間依存性のない逐次的処理を排除することで、効率的かつ安定的にトレーニング可能か？
• RQ2 単一スパイクSNNは、SHDのような複雑な時間的データセットにおいて、マルチスパイクSNNと同等の性能を発揮できるか？
• RQ3 可学習な膜時間定数の導入により、単一スパイクSNNは動的で時間的に変化する入力に対して効果的に対処できるか？
• RQ4 GPU並列化可能な演算を用いることで、精度を損なわずにトレーニングを著しく高速化できるか？
• RQ5 提案手法はデッドニューロン問題に対して頑健であり、ハイパーパrameterのチューニングに敏感でないか？

主な発見

• 提案手法は、合成ベンチマークでは最大16.77倍、実世界のデータセットでは最大13.98倍のトレーニング速度向上を達成した。これは、逐次的処理を並列化可能な畳み込みに置き換えたことによるものである。
• モデルはマルチスパイクSNNと比較して、スパイク数を最大81%削減しながら、すべてのテスト済みの画像およびニューロモーフィックデータセットで競争力のある精度を維持した。
• 従来の単一スパイクトレーニング手法とは異なり、デッドニューロン問題に対しても頑健であり、慎重な正則化を必要としなかった。
• 可学習な膜時間定数の導入により、単一スパイクSNNは、SHDニューロモーフィックデータセットのような挑戦的な時間的データセットにおいて、マルチスパイクSNNと同等の性能を発揮できるようになった。
• この手法は、深層、順伝播、階層的、畳み込みネットワークを含む多様なアーキテクチャに一般化可能であり、広範な適用可能性を示した。
• 実験により、初期活性がゼロの状態であっても、ネットワークが効果的に学習できることを確認した。これにより、本手法の安定性と頑健性が裏付けられた。