[論文レビュー] Parallel Spiking Neurons with High Efficiency and Ability to Learn Long-term Dependencies

Wei Fang, Zhaofei Yu+6 more|arXiv (Cornell University)|Apr 25, 2023

Advanced Memory and Neural Computing被引用数 15

ひとこと要約

リセットを排除して完全に並列化された発火ダイナミクスを実現するParallel Spiking Neuron (PSN) ファミリーを導入し、シミュレーションを高速化し長期依存性の学習を改善する。可変長シーケンスとステップごとの処理のためのマスク付きとスライディング型を含む。

ABSTRACT

Vanilla spiking neurons in Spiking Neural Networks (SNNs) use charge-fire-reset neuronal dynamics, which can only be simulated serially and can hardly learn long-time dependencies. We find that when removing reset, the neuronal dynamics can be reformulated in a non-iterative form and parallelized. By rewriting neuronal dynamics without reset to a general formulation, we propose the Parallel Spiking Neuron (PSN), which generates hidden states that are independent of their predecessors, resulting in parallelizable neuronal dynamics and extremely high simulation speed. The weights of inputs in the PSN are fully connected, which maximizes the utilization of temporal information. To avoid the use of future inputs for step-by-step inference, the weights of the PSN can be masked, resulting in the masked PSN. By sharing weights across time-steps based on the masked PSN, the sliding PSN is proposed to handle sequences of varying lengths. We evaluate the PSN family on simulation speed and temporal/static data classification, and the results show the overwhelming advantage of the PSN family in efficiency and accuracy. To the best of our knowledge, this is the first study about parallelizing spiking neurons and can be a cornerstone for the spiking deep learning research. Our codes are available at \url{https://github.com/fangwei123456/Parallel-Spiking-Neuron}.

研究の動機と目的

• 並列計算を可能にするために発火ニューロンのダイナミクスからリセットを除去する動機づけ。
• 非反復的な隠れ状態計算を実現する一般的なPSNフレームワークの開発。
• 並列性と逐次推論および可変長シーケンスのバランスをとるため、マスク済みPSNとスライディングPSNを導入。
• シミュレーション速度、時系列・静的データ分類、およびニューロモルフィックベンチマークにおけるPSNバリアントの評価。

提案手法

• リセットなしのスパイキングニューロンの充電を、入力の線形結合として再定式化する: H[t] = sum_i W_{t,i} X[i].
• H = W X および S = Theta(H - B) を用いて PSN を定義し、完全な並列計算を実現する。
• 最新の k 入力のみに依存するよう制限するため、時刻局所的なマスク M_k を適用した k次のマスク付きPSNを導入。
• 時間共有重みを用いた k次のスライディングPSNを提案し、入力シーケンス上の1D畳み込みと同等にする。
• 平行な前方ダイナミクスを維持しつつ、Backpropagation Through Time (BPTT) による学習を提供。
• 速度と長期依存性の学習における性能について、PSNバリアントを vanilla LIF/GLIF/KLIF/PLIF ニューロンと比較。

Figure 1: The computational graphs of the vanilla spiking neuron and the parallel spiking neuron. Figure (a) is cited from [ 14 ] . The dotted lines in Figure (b) are weights that can be masked for step-by-step computation. $X[t],S[t]$ are the input current and the output spike, and $H[t],V[t]$ are

実験結果

リサーチクエスチョン

• RQ1 リセット操作を除去しても発火挙動を崩さずに完全な並列ニューロンダイナミクスを実現できるか？
• RQ2 従来のスパイキングニューロンと比較して、PSNファミリはシミュレーション速度でどのように性能を発揮するか？
• RQ3 マスク付きPSNおよびスライディングPSNのバリアントは、シーケンス長の取り扱いと精度を改善しつつ、逐次推論を保持できるか？
• RQ4 シーケンシャルおよび静的タスクにおいて、PSNバリアントは従来のスパイキングニューロンより長期依存性を学習できるか？
• RQ5 高次の並列化がパラメータ効率とメモリ使用量に与える影響はどの程度か？

主な発見

• PSN は並列行列乗算ベースのダイナミクスにより、バニラの LIF/IF ニューロンより著しく高速なシミュレーションを実現する。
• マスク付きPSNおよびスライディングPSNは、連続的な CIFAR タスクで高い精度を維持し、従来のスパイキングニューロンの多くを上回る。
• Sequential CIFAR の結果は PSN の勝利を示し、マスク付きPSNとスライディングPSNは PSN に強い逐次能力で密接に追従。
• 静的データセットとニューロモルフィックデータセットでは、PSNとスライディングPSNが、より少ないタイムステップとパラメータで競争力のある精度を示す。
• 長期依存性タスク（Sequential CIFAR-10/100）は、GLIF、KLIF、PLIF、およびリセット有無のLIF系よりPSNファミリを優先。
• スライディングPSNは、タスクを問わず一般にマスク付きPSNより高い精度とより良い汎化を達成する。
• PSN は一般的なSNNバックボーン（例：ResNet-18 / VGG-11）においてパラメータをほとんど追加せず、巨大なスループット向上を実現する。

Figure 2: Comparison of the PSN family on the parameter number $n_{param}$ and the generation of hidden states.