[論文レビュー] Advancing Spiking Neural Networks towards Deep Residual Learning

Yifan Hu, Lei Deng+3 more|arXiv (Cornell University)|Dec 15, 2021

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

本論文では、膜電位に基づくショートカットパスを備えた、新たなスパイクニューラルネットワーク（SNN）アーキテクチャであるMS-ResNetを提案する。このアーキテクチャにより、CIFAR-10では最大482層、ImageNetでは最大104層の極めて深いSNNの訓練が、劣化を伴わず可能となる。ブロック動的等価理論を用いて勾配ノルムの等価性を達成することで、MS-ResNetは、1ニューロンあたり平均1スパイクの極めて低いエネルギー消費で、ImageNetで76.02%の最先端の精度を達成し、直接訓練されたSNNとして高い精度とエネルギー効率を実現した。

ABSTRACT

Despite the rapid progress of neuromorphic computing, inadequate capacity and insufficient representation power of spiking neural networks (SNNs) severely restrict their application scope in practice. Residual learning and shortcuts have been evidenced as an important approach for training deep neural networks, but rarely did previous work assess their applicability to the characteristics of spike-based communication and spatiotemporal dynamics. In this paper, we first identify that this negligence leads to impeded information flow and the accompanying degradation problem in previous residual SNNs. To address this issue, we propose a novel SNN-oriented residual architecture termed MS-ResNet, which establishes membrane-based shortcut pathways, and further prove that the gradient norm equality can be achieved in MS-ResNet by introducing block dynamical isometry theory, which ensures the network can be well-behaved in a depth-insensitive way. Thus we are able to significantly extend the depth of directly trained SNNs, e.g., up to 482 layers on CIFAR-10 and 104 layers on ImageNet, without observing any slight degradation problem. To validate the effectiveness of MS-ResNet, experiments on both frame-based and neuromorphic datasets are conducted. MS-ResNet104 achieves a superior result of 76.02% accuracy on ImageNet, which is the highest to our best knowledge in the domain of directly trained SNNs. Great energy efficiency is also observed, with an average of only one spike per neuron needed to classify an input sample. We believe our powerful and scalable models will provide a strong support for further exploration of SNNs.

研究の動機と目的

• 従来のリサルトSNNが情報伝達の悪さに起因して生じる深層SNNにおける劣化問題に対処すること。
• 従来の方法が人工ニューラルネットワーク（ANN）からの変換に依存するのに対し、時間に沿った誤差逆伝播（BPTT）を用いて、極めて深いSNNを直接訓練できることを実現すること。
• ブロック動的等価理論を用いて、SNNにおける勾配安定性の理論的基盤を確立し、深さに依存しない訓練行動を保証すること。
• CIFAR-10やImageNetといった標準ベンチマークで、直接訓練されたSNNとして最先端の性能とエネルギー効率を達成すること。
• フレームベースおよび神経形態的データセットの両方において、本アーキテクチャの有効性を検証し、リアルタイムの空間時間的データ処理を可能にすること。

提案手法

• 膜電位に基づくショートカット接続を備えた、新たなSNNアーキテクチャであるMS-ResNetを提案する。この構造により、畳み込み層を迂環する直接的な勾配フローが可能となる。
• ブロック動的等価理論を導入し、MS-ResNetにおいて勾配ノルムの等価性が達成可能であることを理論的に証明する。これにより、深さに依存しない安定な訓練が保証される。
• 二段階の訓練戦略を採用する。まずT=1ステップ（1ニューロンあたり1スパイク）で事前学習を行い、重みの初期化を効率的に行う。その後、T=6ステップで微調整を行い、空間時間的ダイナミクスを学習する。
• 同期型バッチ正規化と高度な正則化技術（ラベルスムージング、ドロップアウト、AutoAugment）を用いることで、深層モデルにおける過学習を抑制する。
• 各ショートカット接続の前に、ストライド2の2×2平均プーリング層を適用し、ダウンサンプリング時の情報保持を図る。これにより、標準のストライド付き畳み込みの代わりに使用する。
• スパイク活性化関数の連続的リラクゼーションを用いた、サロゲート勾配に基づく時間に沿った誤差逆伝播（BPTT）を採用し、エンドツーエンドの訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 スパイクニューラルネットワークの特徴的な空間時間的ダイナミクスと非微分可能なスパイク行動を考慮すると、リサルト学習は効果的にSNNに適応可能か？
• RQ2 なぜ従来のリサルトSNNは劣化や情報伝達の障害を示すのか？ そして、この問題は理論的・構造的にどのように解決できるか？
• RQ3 勾配ノルムの等価性によって、SNNにおける深さに依存しない訓練レジームを達成可能か？ その背後にある理論的枠組みは何か？
• RQ4 どのような訓練戦略が、ANNの事前学習や高ステップ数の推論に依存せずに、非常に深いSNN（例：104層）の効率的かつ安定した訓練を可能にするか？
• RQ5 直接訓練されたSNNは、ImageNetやCIFAR-10において、変換されたSNNや浅いSNNと比較して、どの程度の高い精度とエネルギー効率を達成できるか？

主な発見

• MS-ResNetは、104層のアーキテクチャでImageNetで76.02%の最先端のテスト精度を達成した。これは、直接訓練されたSNNとして報告された最高の数値である。
• CIFAR-10では482層にまで到達しても劣化が認められず、極めて優れた深さスケーラビリティを示した。
• 1ニューロンあたり平均1.0スパイクで入力画像の分類が可能であり、極めて高いエネルギー効率を示している。
• 二段階の訓練戦略（T=1での事前学習とT=6での微調整）により、ImageNetで74.21%のトップ-1精度を達成し、直接T=6で学習する手法を大きく上回った。
• 微調整段階でAutoAugment、ラベルスムージング、ドロップアウトを適用することで、深層SNNにおける過学習が効果的に抑制され、一般化性能が向上した。
• 理論的分析により、ブロック動的等価理論を用いることで、MS-ResNetにおいて勾配ノルムの等価性が達成可能であることが確認され、安定的で深さに依存しない訓練が可能であることが裏付けられた。