[論文レビュー] Sparse Spiking Gradient Descent

Nicolas Perez-Nieves, Dan F. M. Goodman|arXiv (Cornell University)|May 18, 2021

Advanced Memory and Neural Computing参考文献 48被引用数 4

ひとこと要約

この論文では、スパイクの固有の空間的・時間的スパarsityを活用して学習を高速化し、メモリ使用量を削減する、スパikingニューラルネットワーク（SNNs）向けの新しいバックプロパゲーションアルゴリズム、スパーススパiking勾配降下法を提案する。スパイクの活性化したニューロンに集中して更新を行うように補間勾配を再定義することにより、Fashion-MNIST、ニューロモーフィック-MNIST、スパキングハイデルベルクデジットなどのデータセットで、バックプロパゲーションを最大150倍高速化し、メモリ使用量を85％削減しながら、最先端の精度を維持する。

ABSTRACT

There is an increasing interest in emulating Spiking Neural Networks (SNNs) on neuromorphic computing devices due to their low energy consumption. Recent advances have allowed training SNNs to a point where they start to compete with traditional Artificial Neural Networks (ANNs) in terms of accuracy, while at the same time being energy efficient when run on neuromorphic hardware. However, the process of training SNNs is still based on dense tensor operations originally developed for ANNs which do not leverage the spatiotemporally sparse nature of SNNs. We present here the first sparse SNN backpropagation algorithm which achieves the same or better accuracy as current state of the art methods while being significantly faster and more memory efficient. We show the effectiveness of our method on real datasets of varying complexity (Fashion-MNIST, Neuromophic-MNIST and Spiking Heidelberg Digits) achieving a speedup in the backward pass of up to 150x, and 85% more memory efficient, without losing accuracy.

研究の動機と目的

• SNNの学習における密行列演算の非効率性に対処し、スパイク活動に内在する空間的・時間的スパarsityを活用しないことによる問題を解決すること。
• ニューロモーフィックハードウェア上でエンドツーエンド学習が制限されている現状のSNNにおけるバックプロパゲーションの計算およびメモリのオーバーヘッドを低減すること。
• 高い精度を維持しながら、学習速度と効率を著しく向上させるスパースバックプロパゲーション手法を開発すること。
• 新しい補間勾配定式化を用いることで、SNNにおけるスパース勾配計算が実現可能で有益であることを示すこと。
• SNN学習における顕著なパフォーマンス向上を示すことで、深層学習フレームワークにおけるスパース演算子の広範な採用を促すこと。

提案手法

• 補間勾配関数を再定義し、スパイク閾値付近で大きくなるようにすることで、勾配更新を活性化したニューロンに集中させ、バックプロパゲーションにおける自然なスパarsityを誘発する。
• 修正された補間勾配から導出された三要因型ヒブスチアン学習則を定式化し、スパイクを発火させたニューロンでのみ効率的な勾配計算を可能にする。
• バックプロパゲーション中に、非活性なニューロンとその接続された重みの勾配演算を98％以上スキップすることで、勾配演算の98％を無視する。
• 動的に非活性なニューロンとゼロ勾配寄与を除外するスパース計算グラフを用いることで、FLOPsとメモリ使用量の両方を削減する。
• イベント駆動のスパイク活動を効率的に処理できるように最適化された、カスタムスパースCUDAカーネルを用いて、全結合SNN層に実装する。
• 既存のSNN学習パイプラインと互換性があり、畳み込み型およびプルーニング済みSNNアーキテクチャへの拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 スパイク活動のスパarsityを活用することで、精度を損なわずにSNNにおけるバックプロパゲーションの高速化が可能か？
• RQ2 SNNにおいて勾配計算を非活性なニューロンではなく、活性化したニューロンに制限することで、どの程度の高速化とメモリ削減が達成できるか？
• RQ3 修正された補間勾配関数が、生物学的妥当性と計算効率の両方を反映する自然なスパース学習則を誘発できるか？
• RQ4 GPUなどの標準ハードウェア上で、カスタムスパースカーネルを用いることで、SNNにおけるスパースバックプロパゲーションが実現可能で高性能か？
• RQ5 提案手法は、実世界のデータセットにおいて、最先端の精度を維持しながら、密行列バックプロパゲーションを上回る学習効率を達成できるか？

主な発見

• 提案されたスパースバックプロパゲーション手法は、実データセット上で、密実装と比較してバックプロパゲーション段階で最大150倍の高速化を達成した。
• 非活性なニューロンおよびエッジの勾配演算を98％以上スキップしたことで、メモリ使用量が最大85％削減された。
• Fashion-MNIST、ニューロモーフィック-MNIST、スパキングハイデルベルクデジットにおいて、精度を維持または向上させ、最先端の結果と同等またはそれを上回った。
• ネットワークアーキテクチャを変更せずに、補間勾配を活性化したニューロンを優遇するように再定義することで、高速化が達成された。
• 既存のSNN学習フレームワークと互換性があり、畳み込み型およびプルーニング済みSNNにも拡張可能である。
• 本研究では、スパーステンソル演算がSNN学習を顕著に高速化できることを示し、それが深層学習に有益でないという仮定に疑問を呈した。