[論文レビュー] Multi-Level Firing with Spiking DS-ResNet: Enabling Better and Deeper Directly-Trained Spiking Neural Networks

Lang Feng, Qianhui Liu+3 more|arXiv (Cornell University)|Oct 12, 2022

Advanced Memory and Neural Computing被引用数 12

ひとこと要約

本稿では、直接学習されたスパイクニューラルネットワーク（SNN）における勾配消失およびネットワーク劣化を克服するため、マルチレベルファイリング（MLF）とスパイキングDS-ResNetを提案する。MLFは近似導関数の非ゼロ領域を拡大し、マルチスレッショルドスパイク生成によるニューロン表現力の向上を実現する。一方、スパイキングDS-ResNetは離散スパイクの効率的なアイデンティティマッピングを可能にする。本手法は、CIFAR10、DVS-Gesture、CIFAR10-DVSの各データセットで最先端の精度を達成し、パラメータ数を著しく削減した上に、68層のSNNの学習が劣化なしに可能である。

ABSTRACT

Spiking neural networks (SNNs) are bio-inspired neural networks with asynchronous discrete and sparse characteristics, which have increasingly manifested their superiority in low energy consumption. Recent research is devoted to utilizing spatio-temporal information to directly train SNNs by backpropagation. However, the binary and non-differentiable properties of spike activities force directly trained SNNs to suffer from serious gradient vanishing and network degradation, which greatly limits the performance of directly trained SNNs and prevents them from going deeper. In this paper, we propose a multi-level firing (MLF) method based on the existing spatio-temporal back propagation (STBP) method, and spiking dormant-suppressed residual network (spiking DS-ResNet). MLF enables more efficient gradient propagation and the incremental expression ability of the neurons. Spiking DS-ResNet can efficiently perform identity mapping of discrete spikes, as well as provide a more suitable connection for gradient propagation in deep SNNs. With the proposed method, our model achieves superior performances on a non-neuromorphic dataset and two neuromorphic datasets with much fewer trainable parameters and demonstrates the great ability to combat the gradient vanishing and degradation problem in deep SNNs.

研究の動機と目的

• スパイク活動の非微分可能かつバイナリ特性に起因する、直接学習されたSNNにおける勾配消失およびネットワーク劣化の問題を解決すること。
• バックプロパゲーションで用いる近似導関数の非ゼロ領域を拡大することで、深層SNNにおける勾配の流れを改善すること。
• マルチスレッショルドスパイク生成による、スパイキングニューロンの表現力の向上。
• 新規のリーマンアーキテクチャを用いて、深層SNNにおける離散スパイクの効果的なアイデンティティマッピングを可能にすること。
• より少ない学習可能なパラメータ数で、神経モルフィックおよび非神経モルフィックデータセットの両方で最先端の性能を達成すること。

提案手法

• 近似導関数のカバレッジを複数のレベルに分配することで、導関数関数の非ゼロ領域を拡大するマルチレベルファイリング（MLF）を提案する。
• MLFユニットにマルチスレッショルド活性化メカニズムを導入し、入力強度に応じて異なるスレッショルドでスパイクを生成可能にすることで、特徴表現を向上させる。
• 深層SNNにおける離散スパイク信号の効率的アイデンティティマッピングを可能にするリーマンアーキテクチャ「スパイキングDS-ResNet」を設計する。
• スパイキングDS-ResNetを用いることで、ドーナツ状ユニットの生成確率を低減し、深層ネットワークにおける勾配伝搬を改善する。
• MLFとスパイキングDS-ResNetを組み合わせることで、直接学習されたSNNにおける勾配の流れとネットワークの深さ能力を両方向上させる。
• 学習フレームワークとして時空間バックプロパゲーション（STBP）を採用し、MLFが勾配計算の安定性と効率性を向上させることを実現する。

実験結果

リサーチクエスチョン

• RQ1 マルチレベルファイリングは、深層SNNにおけるドーナツ状ユニットの割合を低減させ、勾配消失を緩和できるか？
• RQ2 スパイキングDS-ResNetは、離散スパイクのアイデンティティマッピングを効果的に行い、深層SNNにおけるネットワーク劣化を低減できるか？
• RQ3 MLFとスパイキングDS-ResNetの組み合わせにより、性能劣化なしに非常に深いSNNの学習が可能になるか？
• RQ4 提案手法は、神経モルフィックおよび非神経モルフィックデータセットの両方で、より少ないパラメータ数で最先端の性能を達成できるか？
• RQ5 MLFのレベル数が、鋭い特徴の表現能力および全体の精度にどのように影響するか？

主な発見

• MLFはドーナツ状ユニットの割合を顕著に低減し、単一レベルSNNでは40％を超える割合が、マルチレベル構成では15％未満にまで低下した。
• MLFを用いたSNNの訓練およびテスト精度は、レベル数の増加に伴い段階的に向上し、特にK=1からK=2への変更で最大の向上が観察された。
• MLFを組み込んだスパイキングDS-ResNetにより、CIFAR10で68層のSNNを劣化なしに学習可能となり、テスト精度は93.48％を達成した。
• CIFAR10において、68層で93.48％の精度を達成した。これは、本手法が非常に深いSNNにおけるネットワーク劣化を効果的に抑制できることを示している。
• CIFAR10、DVS-Gesture、CIFAR10-DVSの各データセットで、競合手法と比較して顕著に少ない学習可能なパラメータ数で最先端の性能を達成した。
• アブレーションスタディの結果、MLFは勾配の流れと収束速度を向上させ、スパイキングDS-ResNetは深層アーキテクチャにおける学習の安定性を高めることを確認した。