[論文レビュー] KLIF: An optimized spiking neuron unit for tuning surrogate gradient slope and membrane potential

Chunming Jiang, Yilei Zhang|arXiv (Cornell University)|Feb 18, 2023

Advanced Memory and Neural Computing被引用数 8

ひとこと要約

KLIFはkベースのリーク式積分発火ニューロンに学習可能なスケーリング因子を導入し、訓練中に代理勾配の斜率と膜電位を動的に調整することで、追加の計算コストをかけずにSNNの性能を向上させる。

ABSTRACT

Spiking neural networks (SNNs) have attracted much attention due to their ability to process temporal information, low power consumption, and higher biological plausibility. However, it is still challenging to develop efficient and high-performing learning algorithms for SNNs. Methods like artificial neural network (ANN)-to-SNN conversion can transform ANNs to SNNs with slight performance loss, but it needs a long simulation to approximate the rate coding. Directly training SNN by spike-based backpropagation (BP) such as surrogate gradient approximation is more flexible. Yet now, the performance of SNNs is not competitive compared with ANNs. In this paper, we propose a novel k-based leaky Integrate-and-Fire (KLIF) neuron model to improve the learning ability of SNNs. Compared with the popular leaky integrate-and-fire (LIF) model, KLIF adds a learnable scaling factor to dynamically update the slope and width of the surrogate gradient curve during training and incorporates a ReLU activation function that selectively delivers membrane potential to spike firing and resetting. The proposed spiking unit is evaluated on both static MNIST, Fashion-MNIST, CIFAR-10 datasets, as well as neuromorphic N-MNIST, CIFAR10-DVS, and DVS128-Gesture datasets. Experiments indicate that KLIF performs much better than LIF without introducing additional computational cost and achieves state-of-the-art performance on these datasets with few time steps. Also, KLIF is believed to be more biological plausible than LIF. The good performance of KLIF can make it completely replace the role of LIF in SNN for various tasks.

研究の動機と目的

• スパイキングニューラルネットワーク（SNN）の学習を動機づけ、代理勾配の制限を解消して学習を改善する。
• 学習可能なスケーリング因子を備えた新しいkベースのリーク式積分発火（KLIF）ニューロンを提案する。
• 膜電位のスパイク/リセットダイナミクスを制御するReLUベースの仕組みを取り入れる。
• 静的およびニューロモルフィックデータセットでKLIFを評価し、LIFと比較して性能向上を示す。
• 従来のLIFニューロンと比較してKLIFの生物学的妥当性と実用的展開の利点を評価する。

提案手法

• KLIF: kベースのリーク式積分発火ニューロンを導入する。
• 訓練中に代理勾配の斜率と幅を動的に更新する学習可能なスケーリング因子を追加する。
• 膜電位をスパイク発火とリセットのダイナミクスへ選択的に伝えるReLU活性化を組み込む。
• KLIFをMNIST、Fashion-MNIST、CIFAR-10、およびニューロモルフィックデータセット（N-MNIST、CIFAR10-DVS、DVS128-Gesture）で評価する。
• 計算コストを増やさずにLIFと比較して性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 KLIFの学習可能なスケーリング因子は訓練中に代理勾配の斜率を適応させ、SNNの最適化を改善できるか。
• RQ2 KLIFのReLUベースの機構はLIFと比較して膜電位の扱いとスパイク/リセットダイナミクスを改善するか。
• RQ3 少数の時間ステップで静的およびニューロモルフィックデータセットで最先端の性能を達成できるか。
• RQ4 KLIFは従来のLIFニューロンと比較して生物学的妥当性を保ちつつ性能と効率を向上させるか。

主な発見

• KLIFは検証済みの静的およびニューロモルフィックデータセットでLIFモデルよりも高い性能を示し、追加の計算コストを要しない。
• KLIFは評価データセットで少数の時間ステップで最先端の性能を達成する。
• 本モデルはLIFより生物学的妥当性が高いと示唆されつつ、効率性を維持または向上させる。