[論文レビュー] Advancing Deep Residual Learning by Solving the Crux of Degradation in Spiking Neural Networks

Yifan Hu, Yujie Wu+2 more|arXiv (Cornell University)|Dec 9, 2021

Advanced Memory and Neural Computing被引用数 6

ひとこと要約

本論文は、スパイクベース通信と空間時間的ダイナミクスを活用することで、深層SNNにおける劣化を克服するための新しい残差ブロックを提案する。この手法により、CIFAR-10では482層、ImageNetでは104層のSNNを精度の低下なしに訓練可能となり、ImageNetではトップ1精度76.02%を達成した（直接学習されたSNNとして初）。平均して1ニューロンあたり1スパイクのスパイク使用量にとどまる。

ABSTRACT

Despite the rapid progress of neuromorphic computing, the inadequate depth and the resulting insufficient representation power of spiking neural networks (SNNs) severely restrict their application scope in practice. Residual learning and shortcuts have been evidenced as an important approach for training deep neural networks, but rarely did previous work assess their applicability to the characteristics of spike-based communication and spatiotemporal dynamics. This negligence leads to impeded information flow and the accompanying degradation problem. In this paper, we identify the crux and then propose a novel residual block for SNNs, which is able to significantly extend the depth of directly trained SNNs, e.g., up to 482 layers on CIFAR-10 and 104 layers on ImageNet, without observing any slight degradation problem. We validate the effectiveness of our methods on both frame-based and neuromorphic datasets, and our SRM-ResNet104 achieves a superior result of 76.02% accuracy on ImageNet, the first time in the domain of directly trained SNNs. The great energy efficiency is estimated and the resulting networks need on average only one spike per neuron for classifying an input sample. We believe our powerful and scalable modeling will provide a strong support for further exploration of SNNs.

研究の動機と目的

• スパイクベース通信における情報伝達の悪さが原因で生じる深層SNNにおける劣化問題を解消すること。
• 残差学習とショートカット接続を、スパイクニューロンの特異なダイナミクスおよび時間的情報処理に適応させること。
• 直接学習によって極めて深いSNNを精度の低下なしに訓練可能とし、表現力の向上を図ること。
• フレームベースおよびニューロモルフィックデータセットの両方で最先端の性能を達成するとともに、高いエネルギー効率を実現すること。

提案手法

• 時間的ダイナミクスを保持し、時間にわたるバックプロパゲーションが安定するよう設計された、SNN向けに特化した新しい残差ブロックを設計する。
• スパイクのタイミングとシナプス統合を考慮したスキップ接続を統合し、安定した勾配伝播を確保する。
• 時間的および空間的信号歪みを最小限に抑えることで、数百層にわたる層間でも情報の整合性を維持するようにブロックを最適化する。
• スパイクの非微分性を尊重しつつ、エンドツーエンド学習を可能にするように変更されたバックプロパゲーションアルゴリズムを用いる。
• SRM-ResNetという残差ネットワークアーキテクチャにこのブロックを適用し、CIFAR-10 や ImageNet といった標準データセット上で直接学習を実行する。
• インferencing時におけるスパイク活動を最小限に抑え、1入力サンプルあたり平均で1スパイク/ニューロンにとどめることでエネルギー効率を確保する。

実験結果

リサーチクエスチョン

• RQ1 残差学習をスパイクニューラルネットワークに効果的に適応させることで、非常に深いアーキテクチャにおける劣化を防げるか？
• RQ2 スパイクニューロンのスパイクタイミングとシナプス統合を考慮したスキップ接続をどのように設計すれば、SNNにおける安定した学習が可能になるか？
• RQ3 直接学習されたSNNで、精度の低下なしに到達可能な最大のネットワーク深さは何か？
• RQ4 SNNは、超低スパイク活動を維持しながらImageNetで最先端の精度を達成できるか？

主な発見

• 提案手法により、CIFAR-10では482層のSNNを性能の低下なしに訓練可能となった。
• ImageNetでは、SRM-ResNet104がトップ1精度76.02%を達成し、直接学習されたSNNとして報告された最高精度である。
• 極めて深いネットワークでも高い精度を維持しており、深さに起因する劣化に対して高い耐性を示している。
• 得られたSNNは、1入力サンプルあたり平均で1スパイク/ニューロンという極めて低いスパイク使用量であり、優れたエネルギー効率を示している。
• 本手法はフレームベースおよびニューロモルフィックデータセットの両方で有効であり、広範な適用可能性を示している。