[論文レビュー] Going Deeper With Directly-Trained Larger Spiking Neural Networks

Hanle Zheng, Yujie Wu+3 more|arXiv (Cornell University)|Oct 29, 2020

Advanced Memory and Neural Computing被引用数 11

ひとこと要約

本稿では、非常に深いスパイクニューラルネットワーク（SNN）を直接学習可能にする、しきい値依存のバッチ正則化手法STBP-tdBNを提案する。勾配の流れを安定化させ、ニューロンの発火レートをバランスさせることで、CIFAR-10（93.15%）、DVS-CIFAR10（67.8%）、ImageNet（67.05%）で最先端の精度を達成し、最小限のタイムステップで実現。これは、ImageNet上で深層SNNの直接学習に成功した初の試みである。

ABSTRACT

Spiking neural networks (SNNs) are promising in a bio-plausible coding for spatio-temporal information and event-driven signal processing, which is very suited for energy-efficient implementation in neuromorphic hardware. However, the unique working mode of SNNs makes them more difficult to train than traditional networks. Currently, there are two main routes to explore the training of deep SNNs with high performance. The first is to convert a pre-trained ANN model to its SNN version, which usually requires a long coding window for convergence and cannot exploit the spatio-temporal features during training for solving temporal tasks. The other is to directly train SNNs in the spatio-temporal domain. But due to the binary spike activity of the firing function and the problem of gradient vanishing or explosion, current methods are restricted to shallow architectures and thereby difficult in harnessing large-scale datasets (e.g. ImageNet). To this end, we propose a threshold-dependent batch normalization (tdBN) method based on the emerging spatio-temporal backpropagation, termed "STBP-tdBN", enabling direct training of a very deep SNN and the efficient implementation of its inference on neuromorphic hardware. With the proposed method and elaborated shortcut connection, we significantly extend directly-trained SNNs from a shallow structure ( < 10 layer) to a very deep structure (50 layers). Furthermore, we theoretically analyze the effectiveness of our method based on "Block Dynamical Isometry" theory. Finally, we report superior accuracy results including 93.15 % on CIFAR-10, 67.8 % on DVS-CIFAR10, and 67.05% on ImageNet with very few timesteps. To our best knowledge, it's the first time to explore the directly-trained deep SNNs with high performance on ImageNet.

研究の動機と目的

• 直接学習された深層SNNにおける勾配の流れの不安定さおよび勾配消失／爆発の問題を克服すること。
• 入力刺激とニューロンのしきい値をバランスさせ、学習中に最適な発火レートを維持すること。
• 直接学習可能なSNNの深さを10層を超えて拡張し、ImageNetのような大規模データセットでの性能を実現すること。
• 時間的遅延を最小限に抑えることで、神経形状ハードウェアにおける効率的な推論を可能にすること。
• 事前学習されたANNから変換しないエンドツーエンドの深層SNNの学習の可能性を実証すること。

提案手法

• ニューロンのしきい値に応じて正則化統計を適応的に変更するしきい値依存バッチ正則化（tdBN）を提案し、学習の安定化を図る。
• STBP（時空間的バックプロパゲーション）とtdBNを統合し、SNNにおける時間的・空間的勾配の流れを可能にする。
• SNNに特化した修正版残差ショートカット接続を設計し、深層アーキテクチャにおける勾配の流れを保持する。
• 標準的なResNetアーキテクチャ（ResNet-18, 34, 50）に本手法を適用し、エンドツーエンドの直接学習を実現する。
• ブロック動的等価性解析を用いて、勾配伝搬の安定性を理論的に裏付ける。
• 推論に最小限のタイムステップ（≤6）を用い、SNNのイベント駆動型効率性を保持する。

実験結果

リサーチクエスチョン

• RQ1 しきい値依存バッチ正則化は、STBPを用いて学習される非常に深いSNNにおける勾配の流れを安定化させることができるか？
• RQ2 ANNからSNNに変換しない直接学習SNNは、ImageNetのような大規模データセットでも高い性能を達成できるか？
• RQ3 提案された正則化手法は、入力としきい値をどのようにバランスさせ、効果的な発火レートを維持するか？
• RQ4 STBP-tdBNを用いた直接学習SNNで到達可能な最大の深さは何か？
• RQ5 本手法は、DVS-Gesture や DVS-CIFAR10 といった神経形状データセットで、既存のSNNを上回る性能を示せるか？

主な発見

• 提案されたSTBP-tdBN手法により、SNNの直接学習が50層にまで可能となり、従来の10層未満に制限されていた研究を著しく超える深さが実現された。
• CIFAR-10では、6タイムステップでトップ-1精度93.15%を達成し、従来の直接学習SNNを上回った。
• ImageNetでは、チャンネル幅を大きくしたResNet-34が6タイムステップでトップ-1精度67.05%を達成し、深層SNNがImageNetで直接学習された初の成功例となった。
• DVS-Gestureでは96.87%の精度を達成し、この神経形状データセットにおける直接学習SNNの新たな最先端を樹立した。
• DVS-CIFAR10では10タイムステップで67.8%の精度を達成し、前例を上回る結果を示した。
• ブロック動的等価性に基づく理論的分析により、tdBNが深層SNNにおける勾配伝搬を安定化させることを確認した。