[論文レビュー] Advancing Spatio-Temporal Processing in Spiking Neural Networks through Adaptation

Maximilian Baronig, R Ferrand+2 more|arXiv (Cornell University)|Aug 14, 2024

Advanced Memory and Neural Computing被引用数 4

ひとこと要約

この論文は、閾値下回り適応を伴う自己適応型LIFニューロンに対して、証明可能に安定な離散化手法を導入することで、スパikingニューラルネットワーク（SNNs）の性能を向上させた。この手法は、空間的・時間的タスクにおける学習安定性と性能を顕著に向上させ、バッチ正規化を必要とせず、SHD や BSD といったイベントベースのベンチマークで最先端の結果を達成している。また、入力シフトに対して頑健であり、時系列予測および生成タスクにおける強力な一般化性能を示している。

ABSTRACT

Implementations of spiking neural networks on neuromorphic hardware promise orders of magnitude less power consumption than their non-spiking counterparts. The standard neuron model for spike-based computation on such systems has long been the leaky integrate-and-fire (LIF) neuron. A computationally light augmentation of the LIF neuron model with an adaptation mechanism has recently been shown to exhibit superior performance on spatio-temporal processing tasks. The root of the superiority of these so-called adaptive LIF neurons however is not well understood. In this article, we thoroughly analyze the dynamical, computational, and learning properties of adaptive LIF neurons and networks thereof. Our investigation reveals significant challenges related to stability and parameterization when employing the conventional Euler-Forward discretization for this class of models. We report a rigorous theoretical and empirical demonstration that these challenges can be effectively addressed by adopting an alternative discretization approach - the Symplectic Euler method, allowing to improve over state-of-the-art performances on common event-based benchmark datasets. Our further analysis of the computational properties of networks of adaptive LIF neurons shows that they are particularly well suited to exploit the spatio-temporal structure of input sequences without any normalization techniques.

研究の動機と目的

• 自己適応型LIFニューロンを用いた再帰的SNNの学習における不安定性問題に取り組むこと。特に、閾値下回り適応を伴う場合に焦点を当てる。
• 自己適応型LIFニューロンが空間的・時間的処理において標準LIFニューロンに比べて示す動的および計算的利点を理解すること。
• 自己適応型LIFネットワークが、バッチ正規化を用いずに、入力の平均強度およびスパイクレートのシフトに対しても頑健に一般化できることを示すこと。
• 独自の安定な学習手法を用いて、イベントベースのデータセット（SHD、BSD）で最先端の性能を達成すること。
• 自己適応型LIFネットワークが、複雑な時系列予測および生成タスクにおいて、標準LIFモデルやしきい値適応モデルを上回ることを示すこと。

提案手法

• 標準のEuler-Forward法よりも証明可能な安定性が優れている離散化手法を、自己適応型LIFニューロンの代替として提案する。
• 膜電位 $u(t)$ と適応電流 $w(t)$ の2つの状態変数を用いた連続時間形式の自己適応型LIFニューロンを採用し、$w(t)$ はスパイクおよび閾値下回り膜電位の両方によって更新される。
• 再帰的SNNを空間的・時間的タスクに適用するため、時間に沿ったバックプロパゲーション（BPTT）を用いて学習を行う。
• 特徴量可視化の際、滑らかさ正則化技術を適用する：$X^{k+1} \leftarrow \nu X^{k+1} + \gamma(g * X^{k+1})$、ここでガウスカーネル $g(s)$ の幅 $\sigma$ は反復回数に従って線形に減少する。
• BSDにおけるデータ正規化には、サンプル単位の正規化を適用する：$X^{k+1} \leftarrow X^{k+1} \cdot \mu_{\text{all}} / \mu_{k+1}$、ここで $\mu_{\text{all}}$ は全データの平均スパイクレートを表す。
• 勾配クリッピングの値を1.5に設定し、再帰的重みには直交初期化を適用し、順方向重みは一様に初期化する。

Figure 1 : The adLIF neuron with membrane potential oscillation and spike-frequency adaptation. a) Neurons in the brain have been classified into two excitability classes, integrators (class 1) and resonators (class 2). While resonators show membrane potential oscillations, integrators do not. b) Me

実験結果

リサーチクエスチョン

• RQ1 なぜ自己適応型LIFニューロンは、閾値下回り適応を伴う場合、空間的・時間的タスクにおいて標準LIFモデルやしきい値適応モデルを上回るのか？
• RQ2 自己適応型LIFネットワークの学習における不安定性の原因は何か？そして、より優れた離散化によって解決可能か？
• RQ3 自己適応型LIFネットワークは、訓練中に観測されなかった入力の平均強度およびスパイクレートのシフトに対し、どの程度頑健に一般化できるか？
• RQ4 バッチ正規化や類似手法を用いずに、SHD や BSD のようなイベントベースのベンチマークで最先端の性能を達成できるか？
• RQ5 自己適応型LIFネットワークは、複雑な時系列予測および生成タスクにおいて、どの程度一般化性能を示すか？

主な発見

• 提案された自己適応型LIFニューロンの代替離散化手法は、Euler-Forward法よりも証明可能な安定性が高く、頻発する学習不安定性を解消した。
• この手法により、SHD や BSD のイベントベースのベンチマークデータセットで、新たな最先端性能が達成され、先行するSNNおよびLSTMベースラインを上回った。
• 自己適応型LIFネットワークは優れた一般化性能を示し、入力の平均強度およびスパイクレートのシフトに対しても、訓練中にそのようなシフトが存在しなかった場合でも頑健であった。
• 複雑な時系列予測および生成タスクにおいても高い性能を達成し、閾値下回り適応のおかげで、空間的・時間的入力構造をより効果的に活用できた。
• バッチ正規化や時系列に沿った正規化を必要とせず、高い精度を達成した。これは、ネットワークが本質的に頑健であることを示している。
• 適応的スムージングを用いた特徴量可視化により、ネットワークがSHDやBSDデータセットにおいて、意味的で構造的な入力シーケンスの表現を学習していることが明らかになった。

Figure 2 : The adLIF neuron model shows frequency-selective resonating behavior. a) Voltage response (root mean squared membrane potential over $10$ seconds) of a LIF neuron in response to tonic spike input of different rates. b) Membrane potential response of an adLIF neuron with intrinsic frequenc