[論文レビュー] Hoyer regularizer is all you need for ultra low-latency spiking neural networks

Gourav Datta, Zeyu Liu+1 more|arXiv (Cornell University)|Dec 20, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本論文は、1タイムステップのスパikingニューラルネットワーク（SNN）のための新しいトレーニングフレームワークを提案する。このフレームワークでは、Hoyer正則化子を用いてしきい値を動的に学習することで、高精度で超低遅延の推論を実現する。各層のしきい値を、クリッピングされた活性マップのHoyer極値として設定し、Hoyer正則化子を用いた勾配降下法により最適化することで、重み更新の頻度を向上させ、膜電位をしきい値から遠ざけ、収束性とロバスト性を向上させる。その結果、最先端の精度-FLOPsトレードオフを達成する。

ABSTRACT

Spiking Neural networks (SNN) have emerged as an attractive spatio-temporal computing paradigm for a wide range of low-power vision tasks. However, state-of-the-art (SOTA) SNN models either incur multiple time steps which hinder their deployment in real-time use cases or increase the training complexity significantly. To mitigate this concern, we present a training framework (from scratch) for one-time-step SNNs that uses a novel variant of the recently proposed Hoyer regularizer. We estimate the threshold of each SNN layer as the Hoyer extremum of a clipped version of its activation map, where the clipping threshold is trained using gradient descent with our Hoyer regularizer. This approach not only downscales the value of the trainable threshold, thereby emitting a large number of spikes for weight update with a limited number of iterations (due to only one time step) but also shifts the membrane potential values away from the threshold, thereby mitigating the effect of noise that can degrade the SNN accuracy. Our approach outperforms existing spiking, binary, and adder neural networks in terms of the accuracy-FLOPs trade-off for complex image recognition tasks. Downstream experiments on object detection also demonstrate the efficacy of our approach.

研究の動機と目的

• マルチタイムステップ推論や事前学習に依存せずに、超低遅延のスパikingニューラルネットワーク（SNN）を実現すること。
• 疎なスパイク活動による重み更新機会が限られるため、1タイムステップSNNの高精度トレーニングの課題に対処すること。
• 膜電位分布をしきい値から遠ざけることで収束性とロバスト性を向上させ、ノイズへの感受性を低減すること。
• 既存のSNN、バイナリニューラルネットワーク（BNN）、アドナリニューラルネットワーク（AddNN）と比較して、優れた精度-FLOPsトレードオフを達成すること。

提案手法

• 各SNN層のしきい値は、その膜電位テンソルのクリッピング版のHoyer極値として計算される。
• クリッピングしきい値は微分可能であり、新しいHoyer正則化子を用いて勾配降下法で最適化され、スパarsityと安定性を促進する。
• Hoyer正則化子は、クリッピングされた膜電位テンソルに適用され、活性化のバランスの取れた分布を促進し、しきい値付近のクラスタリングを低減する。
• Hoyerスパイク層は、各層と入力ごとに動的にしきい値を設定し、適応的で入力依存のスパイク行動を可能にする。
• フレームワークは、DNNの事前学習や段階的ステップ数の削減を一切行わず、SNNをスクラッチからトレーニング可能であり、トレーニングオーバーヘッドを低減する。
• 本手法は極めてスパースな状態（22%のスパイク活動）を実現し、2〜6ビットの固定小数点積算をサポートすることで、エネルギー消費を削減する。

実験結果

リサーチクエスチョン

• RQ1 1タイムステップSNNは、マルチタイムステップ推論や事前学習なしに、最先端の精度を達成できるか？
• RQ2 SNNのしきい値を効果的に学習することで、1タイムステップ内で重み更新を最大限に活用できるか？
• RQ3 Hoyer正則化子は、膜電位分布をしきい値から遠ざけることで収束性とロバスト性を向上させられるか？
• RQ4 SOTAのBNNやAddNNと比較して、1タイムステップSNNのエネルギー効率とFLOP効率はどの程度か？
• RQ5 提案手法は、重みの量子化下でも高い精度を維持できるか？ また、低スパイク活動を保ち続けられるか？

主な発見

• 提案手法は、VGG16ベースのSNNを用いてCIFAR-10で93.44%のトップ-1精度を達成し、SOTAの1タイムステップSNNを上回り、BNNやAddNNと同等または上回る性能を示した。
• SOTAのBNNやAddNNと比較して、FLOPsを5.5倍削減しながら、同等または高い精度を維持した。
• 標準DNNと比較して、エネルギー消費は24.34〜34.21倍低減した。6ビット量子化モデルでは、わずか0.02%の精度低下にとどまった。
• 2ビット量子化SNNは、CIFAR-10で92.34%の精度を達成し、22%のスパイク活動を維持した。バイポーラBNNと比較して、精度とエネルギー効率の両面で優れた性能を示した。
• ImageNetでは、14.28 Jの計算エネルギーで68.00%のトップ-1精度を達成し、SOTAのBNNやAddNNを上回った。一部のAddNNと比較して、エネルギー消費は半分以下だった。
• SOTAの1タイムステップSNNと比較して、トレーニング時間が約19倍短縮され、非スパイクDNNに近い速度に近づいた。