[論文レビュー] Training High-Performance Low-Latency Spiking Neural Networks by Differentiation on Spike Representation

Qingyan Meng, Mingqing Xiao+4 more|arXiv (Cornell University)|May 1, 2022

Advanced Memory and Neural Computing被引用数 11

ひとこと要約

本稿では、スパイク発火レートを微分可能表現として扱うことで、高性能で低遅延なスパイクニューラルネットワーク（SNNs）を訓練する新規手法であるスパイク表現の微分（DSR）を提案する。SNNの動的挙動を部分微分可能写像としてモデル化し、スパイク閾値と新たなハイパーパrameterを訓練することで、最小限の時間ステップでCIFAR-10、CIFAR-100、ImageNet、DVS-CIFAR10において最先端の精度を達成し、性能と遅延のトレードオフを克服する。

ABSTRACT

Spiking Neural Network (SNN) is a promising energy-efficient AI model when implemented on neuromorphic hardware. However, it is a challenge to efficiently train SNNs due to their non-differentiability. Most existing methods either suffer from high latency (i.e., long simulation time steps), or cannot achieve as high performance as Artificial Neural Networks (ANNs). In this paper, we propose the Differentiation on Spike Representation (DSR) method, which could achieve high performance that is competitive to ANNs yet with low latency. First, we encode the spike trains into spike representation using (weighted) firing rate coding. Based on the spike representation, we systematically derive that the spiking dynamics with common neural models can be represented as some sub-differentiable mapping. With this viewpoint, our proposed DSR method trains SNNs through gradients of the mapping and avoids the common non-differentiability problem in SNN training. Then we analyze the error when representing the specific mapping with the forward computation of the SNN. To reduce such error, we propose to train the spike threshold in each layer, and to introduce a new hyperparameter for the neural models. With these components, the DSR method can achieve state-of-the-art SNN performance with low latency on both static and neuromorphic datasets, including CIFAR-10, CIFAR-100, ImageNet, and DVS-CIFAR10.

研究の動機と目的

• 既存の手法が精度を犠牲にするか、過剰な時間ステップを必要とする中で、高精度で低遅延なSNNの訓練に課題を解決すること。
• SNNのバックプロパゲーションにおけるスパイクトレインの非微分可能性に起因する勾配ベースの訓練を妨げる要因を克服すること。
• 時間領域を介したバックプロパゲーションを回避することで、SNNにおける効果的なバックプロパゲーションを可能にし、訓練コストを低減すること。
• 有限時間ステップによるSNN動的挙動の近似誤差を低減し、低遅延でも精度を向上させること。
• 深層ネットワークおよびニューロモルフィックデータセット（DVS-CIFAR10など）における手法の有効性を実証し、SOTA性能を達成すること。

提案手法

• スパイクトレインを重み付き発火レート表現に符号化し、バックプロパゲーションの主な情報キャリアとして扱う。
• 一般的なSNN（例：IF、LIF）の順方向計算を部分微分可能写像としてモデル化することで、非微分可能なスパイク関数であっても勾配ベースの訓練が可能になる。
• 各時間ステップにおける個々のスパイクではなく、スパイク表現に基づいて処理することで、時間領域を介したバックプロパゲーションを回避する。
• 有限時間ステップによる近似誤差を低減するために、各層ごとにトレーナブルなスパイク閾値を導入する。
• IFおよびLIFモデル向けに、さらに近似誤差を低減し、訓練安定性を向上させるために新たなハイパーパrameterを導入する。
• スパイク表現上で標準的なバックプロパゲーションをエンドツーエンドに適用することで、深層SNNの効率的訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 時間領域を直接バックプロパゲーションしないことで、高精度で低遅延なSNNの訓練が可能になるか？
• RQ2 スパイク発火レートを微分可能表現として用いることで、SNNの効果的な勾配ベースの訓練が可能になるか？
• RQ3 有限時間ステップによる近似誤差は、低遅延SNNの訓練においてどのように低減できるか？
• RQ4 スパイク閾値のトレーニングと新たなハイパーパrameterの導入が、低遅延SNNの性能向上に顕著に寄与するか？
• RQ5 DSR手法は、深層ネットワークアーキテクチャおよびDVS-CIFAR10のようなニューロモルフィックデータセットにスケーリング可能か？

主な発見

• DSRは20時間ステップでCIFAR-10においてSOTA性能を達成し、PreAct-ResNet-18を用いて95.24%の精度を記録した。
• CIFAR-100では20時間ステップで86.58%の精度を達成し、低遅延における既存手法を上回った。
• ImageNetではわずか10時間ステップで75.1%のトップ-1精度を達成し、大規模データセットでも強力な性能を示した。
• DVS-CIFAR10では20時間ステップで92.1%の精度を達成し、ニューロモルフィックデータへの優れた一般化性能を示した。
• アブレーションスタディにより、閾値のトレーニングと新たなハイパーパラメータの導入が近似誤差を顕著に低減し、ベースライン設定と比較して最大4.79%の精度向上を実現した。
• 本手法は深層ネットワークに対しても効果的にスケーリングでき、ResNetアーキテクチャにおいて110層まで性能が向上した。これは、より深いモデルへの強い潜在的適合性を示している。