[論文レビュー] Ternary Spike: Learning Ternary Spikes for Spiking Neural Networks

Yufei Guo, Yuanpei Chen+5 more|arXiv (Cornell University)|Dec 11, 2023

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、{-1, 0, 1}スパイク活性化を用いることで、乗算を含まないイベント駆動型推論を維持しつつ、二値スパイクよりも情報容量を向上させる、新しいスパikingニューラルネットワーク（SNN）ニューロン「Ternary Spike」を提案する。学習可能なアモニチュード係数により、層ごとのスパイク振幅を調整でき、推論時には標準的な三値スパイクに再パrameter化される。これにより、最小限のエネルギーオーバーヘッドで最先端の精度を達成する。例として、ResNet34を用いたImageNetでは70.74%のトップ1精度を達成し、たった4ステップで実現した。

ABSTRACT

The Spiking Neural Network (SNN), as one of the biologically inspired neural network infrastructures, has drawn increasing attention recently. It adopts binary spike activations to transmit information, thus the multiplications of activations and weights can be substituted by additions, which brings high energy efficiency. However, in the paper, we theoretically and experimentally prove that the binary spike activation map cannot carry enough information, thus causing information loss and resulting in accuracy decreasing. To handle the problem, we propose a ternary spike neuron to transmit information. The ternary spike neuron can also enjoy the event-driven and multiplication-free operation advantages of the binary spike neuron but will boost the information capacity. Furthermore, we also embed a trainable factor in the ternary spike neuron to learn the suitable spike amplitude, thus our SNN will adopt different spike amplitudes along layers, which can better suit the phenomenon that the membrane potential distributions are different along layers. To retain the efficiency of the vanilla ternary spike, the trainable ternary spike SNN will be converted to a standard one again via a re-parameterization technique in the inference. Extensive experiments with several popular network structures over static and dynamic datasets show that the ternary spike can consistently outperform state-of-the-art methods. Our code is open-sourced at https://github.com/yfguo91/Ternary-Spike.

研究の動機と目的

• SNNにおける二値スパイク活性化マップに起因する情報損失を是正すること。これは、情報容量が不十分であるため、精度に制限を及える。
• 乗算を含まないイベント駆動型計算を維持しつつ、SNNの表現能力を向上させること。
• 層ごとの膜電位分布の違いに適応するため、スパイク振幅を学習可能なものにすること。
• デプロイ時において、学習可能なスパイク振幅を標準的な三値スパイクに再パラメータ化することで、推論効率を維持すること。

提案手法

• 膜電位を{0, 1}ではなく{-1, 0, 1}に量子化する三値スパイクニューロンを提案。これにより、乗算を含まない推論を維持しつつ、情報容量を向上させる。
• スパイク振幅αを層ごとに学習可能な三値スパイク変種を導入。これにより、層ごとの膜電位分布に適合する可変スパイク振幅を実現する。
• 推論時において、学習済みのα要因をネットワーク重みに統合する再パラメータ化技術を採用。これにより、標準的な三値スパイク動作を回復させ、加算のみの計算を維持する。
• 標準的なSNN学習に、補間勾配バックプロパゲーションを適用。三値スパイク関数は微分可能でハードtanhに類似した活性化関数で近似される。
• CIFAR-10、CIFAR-100、ImageNet、CIFAR10-DVSなどの静的および動的データセット上で、複数のバックボーンアーキテクチャ（ResNet18、ResNet34、VGG11など）に本手法を適用。
• FLOPsとSOPsの比較によりエネルギー効率を評価。三値スパイクは二値スパイクと比較してエネルギーコストがたった2.11%増加にとどまる。

Figure 1: The difference between our ternary spike neuron and the vanilla binary spike neuron. In binary spike neurons, the membrane potentials will be quantized to $\{0,1\}$ spikes, which will cause severe information loss. In our ternary spike neuron, the membrane potentials will be quantized to $

実験結果

リサーチクエスチョン

• RQ1 三値スパイク活性化（{-1, 0, 1}）は、二値スパイク（{0, 1}）と比較して、エネルギー効率を損なわず、情報容量を顕著に向上させることができるか？
• RQ2 層ごとのスパイク振幅（α）を学習することで、層間の膜電位分布の違いに適応し、性能向上が達成できるか？
• RQ3 学習可能なアモニチュード係数を推論時に重みに再パラメータ化できるか。これにより、SNNの乗算を含まないイベント駆動型の利点が維持されるか？
• RQ4 本手法は、多様なベンチマークにおいて、最先端のSNNと比較して精度およびエネルギー効率の点で優れているか？

主な発見

• 提案手法Ternary Spikeは、ResNet34を用いたImageNetでたった4ステップで70.74%のトップ1精度を達成。これは、先行する最先端手法と比較して約3%の向上を示す。
• CIFAR10-DVSでは、ResNet20を用いた学習可能なTernary Spikeが79.80%の精度を達成。これは、以前の最先端手法を2%以上上回り、80%に近い精度に到達した。
• 2ステップでの実行でも、ResNet20を用いた学習可能なTernary SpikeはCIFAR-10で94.46%の精度を達成。同じ設定で先行する最先端手法を上回った。
• 三値スパイクのエネルギーコストは、二値スパイクと比較してたった2.11%増加にとどまり、情報容量が向上しても最小限のオーバーヘッドであることが示された。
• 本手法は、静的（CIFAR-10、CIFAR-100、ImageNet）および動的（CIFAR10-DVS）ベンチマークを問わず、複数のデータセットおよびネットワークアーキテクチャで、常に最先端のSNNを上回る性能を示した。