Skip to main content
Nubint
QUICK REVIEW

[論文レビュー] Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings

Ilyass Hammouamri, Ismail Khalfaoui-Hassani|arXiv (Cornell University)|Jun 30, 2023
Advanced Memory and Neural Computing参考文献 52被引用数 18
ひとこと要約

この論文は、深層前向きSNNにおけるシナプス遅延を学習する離散時間バックプロパゲーション法を提案し、遅延を学習可能な1D時系列畳み込みとしてDCLSでモデル化することで、SHD、SSC、GSC-35の時間的ベンチマークで最先端の結果を、パラメータ数を削減して達成する。

ABSTRACT

Spiking Neural Networks (SNNs) are a promising research direction for building power-efficient information processing systems, especially for temporal tasks such as speech recognition. In SNNs, delays refer to the time needed for one spike to travel from one neuron to another. These delays matter because they influence the spike arrival times, and it is well-known that spiking neurons respond more strongly to coincident input spikes. More formally, it has been shown theoretically that plastic delays greatly increase the expressivity in SNNs. Yet, efficient algorithms to learn these delays have been lacking. Here, we propose a new discrete-time algorithm that addresses this issue in deep feedforward SNNs using backpropagation, in an offline manner. To simulate delays between consecutive layers, we use 1D convolutions across time. The kernels contain only a few non-zero weights - one per synapse - whose positions correspond to the delays. These positions are learned together with the weights using the recently proposed Dilated Convolution with Learnable Spacings (DCLS). We evaluated our method on three datasets: the Spiking Heidelberg Dataset (SHD), the Spiking Speech Commands (SSC) and its non-spiking version Google Speech Commands v0.02 (GSC) benchmarks, which require detecting temporal patterns. We used feedforward SNNs with two or three hidden fully connected layers, and vanilla leaky integrate-and-fire neurons. We showed that fixed random delays help and that learning them helps even more. Furthermore, our method outperformed the state-of-the-art in the three datasets without using recurrent connections and with substantially fewer parameters. Our work demonstrates the potential of delay learning in developing accurate and precise models for temporal data processing. Our code is based on PyTorch / SpikingJelly and available at: https://github.com/Thvnvtos/SNN-delays

研究の動機と目的

  • スパイキングニューラルネットワークにおける遅延学習を動機づけ、時間的パターン処理を強化する。
  • 深層SNNにおいて、重みと共にシナプス遅延を微分可能に学習する方法を提案する。
  • 1D時系列畳み込みと結合遅延の等価性を示し、遅延を学習するためにDCLSを用いる。
  • 再帰的接続を伴わずにSHD、SSC、GSC-35でより少ないパラメータで高精度を示す。

提案手法

  • 各シナプス遅延を、シナプスごとに1つの非ゼロ要素を含むカーネルを持つ1D時系列畳み込みとして定式化する。
  • ガウス補間DCLSカーネルを用いて遅延位置を学習し、訓練中にガウス幅（sigma）を徐々に縮小する。
  • 遅延を学習可能な位置d_ijと共有sigmaで表現し、遅延パラメータへのバックプロパゲーションを可能にする。
  • learnedな連続カーネルを推論用に離散遅延へ変換し、疎なハードウェア対応接続を実現する。
  • Leaky Integrate-and-Fireニューロンとオフラインのフィードフォワード構成で代理勾配バックプロパゲーションを用いて訓練する。
  • SHD、SSC、GSC-35で、深さとパラメータ数を変化させた状態で最先端手法と比較する。
Figure 1: Coincidence detection: we consider two neurons $N_{1}$ and $N_{2}$ with the same positive synaptic weight values. $N_{2}$ has a delayed synaptic connection denoted $d_{21}$ of $8$ ms, thus both spikes from spike train $S_{1}$ and $S_{2}$ will reach $N_{2}$ quasi-simultaneously. As a result
Figure 1: Coincidence detection: we consider two neurons $N_{1}$ and $N_{2}$ with the same positive synaptic weight values. $N_{2}$ has a delayed synaptic connection denoted $d_{21}$ of $8$ ms, thus both spikes from spike train $S_{1}$ and $S_{2}$ will reach $N_{2}$ quasi-simultaneously. As a result

実験結果

リサーチクエスチョン

  • RQ1深層前向きSNNにおいて、遅延をシナプス重みとともにバックプロパゲーションで学習できるか。
  • RQ2学習した遅延は、固定遅延やランダム遚延に比べて時間的スパイクパターンのベンチマークで有意な精度向上をもたらすか。
  • RQ3DCLS遅延アプローチは、密な遅延表現と比較して性能とパラメータ効率の点でどう違うか。
  • RQ4訓練中にガウシアンカーネル（sigma）を徐々に絞る影響は、 learned遅延と全体の精度にどう影響するか。

主な発見

DatasetMethodRec.Delays#ParamsTop1 Acc.
SHDEventProp-GeNN✓✕N/a84.80 ± 1.5%
SHDCuba-LIF✗✕0.14M87.80 ± 1.1%
SHDAdaptive SRNN✓✕N/a90.40%
SHDSNN+Delays✗✓0.1M90.43%
SHDTA-SNN✗✕N/a91.08%
SHDSTSC-SNN✗✕2.1M92.36%
SHDAdaptive Delays✗✓0.1M92.45%
SHDDL128-SNN-Dloss✗✓0.14M92.56%
SHDDense Conv Delays (ours)✗✓2.7M93.44%
SHDRadLIF✓✕3.9M94.62%
SHDDCLS-Delays (2L-1KC)✗✓0.2M95.07 ± 0.24%
SHDDCLS-Delays (2L-2KC)✗✓0.7M79.77 ± 0.09%
SHDDCLS-Delays (3L-1KC)✗✓1.2M80.29 ± 0.06%
SHDDCLS-Delays (3L-2KC)✗✓2.5M80.69 ± 0.21%
SSCRecurrent SNN✓✕N/a50.90 ± 1.1%
SSCHeter. RSNN✓✕N/a57.30%
SSCSNN-CNN✗✓N/a72.03%
SSCAdaptive SRNN✓✕N/a74.20%
SSCSpikGRU✓✕0.28M77.00 ± 0.4%
SSCRadLIF✓✕3.9M77.40%
SSCDense Conv Delays 2L✗✓10.9M77.86%
SSCDense Conv Delays 3L✗✓19M78.44%
SSCDCLS-Delays (2L-1KC)✗✓0.7M79.77 ± 0.09%
SSCDCLS-Delays (2L-2KC)✗✓1.4M80.16 ± 0.09%
SSCDCLS-Delays (3L-1KC)✗✓1.2M80.29 ± 0.06%
SSCDCLS-Delays (3L-2KC)✗✓2.5M80.69 ± 0.21%
GSC-35MSAT✗✕N/a87.33%
GSC-35Dense Conv Delays 2L✗✓10.9M92.97%
GSC-35Dense Conv Delays 3L✗✓19M93.19%
GSC-35RadLIF✓✕1.2M94.51%
GSC-35DCLS-Delays (2L-1KC)✗✓0.7M94.91 ± 0.09%
GSC-35DCLS-Delays (2L-2KC)✗✓1.4M95.00 ± 0.06%
GSC-35DCLS-Delays (3L-1KC)✗✓1.2M95.29 ± 0.11%
GSC-35DCLS-Delays (3L-2KC)✗✓2.5M95.35 ± 0.04%
  • DCLS-Delaysは2–3レイヤーの非線形層で、SHDで最大95.07%、SSCで79.77–80.69%、GSC-35で94.91–95.35%の精度をさまざまな構成で達成。
  • 学習した遅延は固定/ランダム遅延を上回り、特に疎な接続シナリオで顕著な性能向上を示す。
  • 学習可能な間隔を持つ密結合遅延は、標準の密遅延より精度が高く、パラメータ数も少ない。
  • この手法は、LIF内部再発を超えた再帰接続なしでSHD、SSC、GSC-35で最先端の結果を達成する。
  • アブレーション研究により、重みと遅延を共同で学習し sigmaを減少させると、定常sigmaや固定遅延より性能が向上することが示される。
Figure 2: Example of one neuron with 2 afferent synaptic connections, convolving $K1$ and $K2$ with the zero left-padded $S_{1}$ and $S_{2}$ is equivalent to following Equation 6
Figure 2: Example of one neuron with 2 afferent synaptic connections, convolving $K1$ and $K2$ with the zero left-padded $S_{1}$ and $S_{2}$ is equivalent to following Equation 6

より良い研究を、今すぐ始めましょう

論文設計から論文執筆まで、研究時間を劇的に削減しましょう。

クレジットカード登録不要

このレビューはAIが作成し、人間の編集者が確認しました。