[論文レビュー] Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks

Qingyan Meng, Mingqing Xiao+4 more|arXiv (Cornell University)|Feb 28, 2023

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

本論文は、スパイクニューラルネットワーク（SNNs）の学習に向けた、メモリおよび時間効率に優れた誤差逆伝播法である時系列を介した空間的学習（SLTT）を提案する。バックプロパゲーション中に重要でない時間的ルートを意図的に無視することにより、SLTTはスカラ乗算の回数を削減し、シーケンス長に依存しない定常的なメモリ使用量を達成する。ImageNetにおいて、SLTTは、補間勾配を用いたBPTTと比較して、70%以上の低いメモリコストと50%以上の高速な学習を達成し、最先端の精度を実現した。

ABSTRACT

Spiking Neural Networks (SNNs) are promising energy-efficient models for neuromorphic computing. For training the non-differentiable SNN models, the backpropagation through time (BPTT) with surrogate gradients (SG) method has achieved high performance. However, this method suffers from considerable memory cost and training time during training. In this paper, we propose the Spatial Learning Through Time (SLTT) method that can achieve high performance while greatly improving training efficiency compared with BPTT. First, we show that the backpropagation of SNNs through the temporal domain contributes just a little to the final calculated gradients. Thus, we propose to ignore the unimportant routes in the computational graph during backpropagation. The proposed method reduces the number of scalar multiplications and achieves a small memory occupation that is independent of the total time steps. Furthermore, we propose a variant of SLTT, called SLTT-K, that allows backpropagation only at K time steps, then the required number of scalar multiplications is further reduced and is independent of the total time steps. Experiments on both static and neuromorphic datasets demonstrate superior training efficiency and performance of our SLTT. In particular, our method achieves state-of-the-art accuracy on ImageNet, while the memory cost and training time are reduced by more than 70% and 50%, respectively, compared with BPTT.

研究の動機と目的

• スパイクニューラルネットワーク（SNNs）における補間勾配を用いた時系列を介した誤差逆伝播（BPTT）の高いメモリおよび学習時間コストを軽減すること。
• 計算グラフ内の重要でない時間的ルートを同定し、バックプロパゲーション中に除去することで、スカラ乗算の回数を削減すること。
• 中間状態を全シーケンス長にわたり保存する必要を排除することで、オンラインかつ逐次的な勾配計算を可能にし、シーケンス長に依存しない定常的メモリ使用量を達成すること。
• K個の選択された時間ステップでのみバックプロパゲーションを実行するSLTT-Kという変種を開発し、性能に損なわれることなく計算複雑度をさらに低減すること。
• ベンチマークデータセットにおいてSNNの最先端性能を達成するとともに、学習効率を著しく向上させること。

提案手法

• BPTTからの勾配を空間的および時間的成分に分解することで、誤差逆伝播における時間的寄与を明示的に分析する。
• バックプロパゲーション中に計算グラフ内の重要でない時間的パスを除去するプルーニング戦略を導入し、スカラ乗算の回数を削減する。
• 各時間ステップで即座に勾配を計算することで、オンライン学習を可能にし、時間ステップ間の途中状態を保存する必要性を排除する。
• SLTT-KはバックプロパゲーションをK個の時間ステップに限定することで、時間計算量をΩ(T)からΩ(K)に低減する。ここでTは全シーケンス長を表す。
• 時間ステップ単位のバッチ正規化を採用し、マックスプーリングを平均プーリングに置き換えることで、オンライン学習をサポートし、学習安定性を向上させる。
• 本手法は、VGG-11、ResNet、および正規化なしのResNet（NF-ResNet）といった標準的なSNNアーキテクチャと互換性があり、静的およびニューロモルフィックデータセットの両方をサポートする。

Figure 1 : The training time and memory cost comparison between the proposed SLTT-1 method and the BPTT with SG method on ImageNet. SLTT-1 achieves similar accuracy as BPTT, while owning better training efficiency than BPTT both theoretically and experimentally. Please refer to Sections 4 and 5 for

実験結果

リサーチクエスチョン

• RQ1 SNNにおけるバックプロパゲーションにおける時間的依存性は、最終勾配にどの程度寄与しているか？
• RQ2 計算グラフ内の重要でない時間的ルートをバックプロパゲーション中に安全にプルーニングすることは可能か？ その場合、モデル性能が低下しないか？
• RQ3 全シーケンス状態を保存する必要を排除することで、SNNにおけるオンライン勾配計算を実現できるか？ これにより、シーケンス長に依存しない定常的メモリ使用量が達成できるか？
• RQ4 バックプロパゲーションをK個の時間ステップに限定した場合、学習効率およびモデル精度にどのような影響が生じるか？
• RQ5 提案手法は、ImageNetのような大規模データセットにおいて、顕著に低いメモリおよび時間コストを実現しながら、最先端の性能を達成できるか？

主な発見

• ImageNetにおいて、SLTTは補間勾配を用いたBPTTと比較して、70%以上の低いメモリコストと50%以上の高速な学習を達成し、最先端の精度を実現した。
• SLTT-1は、ImageNet、CIFAR-10、CIFAR-100、DVS-Gesture、DVS-CIFAR10の各データセットでBPTTと同等の性能を達成したが、学習効率が著しく向上した。
• SLTT-Kはスカラ乗算の回数をΩ(T)からΩ(K)に低減し、性能に損なわれることなくさらに時間計算量を削減できる。
• 本手法は静的およびニューロモルフィックデータセットの両方で競争力のある性能を達成し、6ステップのシーケンスでImageNetにおいても最先端の結果を記録した。
• SLTTのオンライン学習フレームワークは、中間状態の保存を不要とし、シーケンス長に依存しない定常的メモリ使用量を実現した。
• 本手法は、VGG-11、NF-ResNet-34/50/101といったさまざまなSNNアーキテクチャと互換性があり、静的および動的データセットに応じて交差エントロピーおよびMSEベースの損失関数をサポートする。

Figure 2 : Computational graph of multi-layer SNNs. Dashed arrows represent the non-differentiable spike generation functions.