[논문 리뷰] Learning Delays in Spiking Neural Networks using Dilated Convolutions with Learnable Spacings

Ilyass Hammouamri, Ismail Khalfaoui-Hassani외 1명|arXiv (Cornell University)|2023. 06. 30.

Advanced Memory and Neural Computing참고 문헌 52인용 수 18

한 줄 요약

논문은 DCLS를 사용하여 학습 가능한 간격으로 1D 시간적 합성곱으로 시냅스 지연을 학습하는 이산 시간 역전파 방법을 제시하고, SHD, SSC, GSC-35의 시간 벤치마크에서 매개변수가 더 적은 상태-오브-더-아트 결과를 달성한다.

ABSTRACT

Spiking Neural Networks (SNNs) are a promising research direction for building power-efficient information processing systems, especially for temporal tasks such as speech recognition. In SNNs, delays refer to the time needed for one spike to travel from one neuron to another. These delays matter because they influence the spike arrival times, and it is well-known that spiking neurons respond more strongly to coincident input spikes. More formally, it has been shown theoretically that plastic delays greatly increase the expressivity in SNNs. Yet, efficient algorithms to learn these delays have been lacking. Here, we propose a new discrete-time algorithm that addresses this issue in deep feedforward SNNs using backpropagation, in an offline manner. To simulate delays between consecutive layers, we use 1D convolutions across time. The kernels contain only a few non-zero weights - one per synapse - whose positions correspond to the delays. These positions are learned together with the weights using the recently proposed Dilated Convolution with Learnable Spacings (DCLS). We evaluated our method on three datasets: the Spiking Heidelberg Dataset (SHD), the Spiking Speech Commands (SSC) and its non-spiking version Google Speech Commands v0.02 (GSC) benchmarks, which require detecting temporal patterns. We used feedforward SNNs with two or three hidden fully connected layers, and vanilla leaky integrate-and-fire neurons. We showed that fixed random delays help and that learning them helps even more. Furthermore, our method outperformed the state-of-the-art in the three datasets without using recurrent connections and with substantially fewer parameters. Our work demonstrates the potential of delay learning in developing accurate and precise models for temporal data processing. Our code is based on PyTorch / SpikingJelly and available at: https://github.com/Thvnvtos/SNN-delays

연구 동기 및 목표

• 스파이킹 신경망에서 지연 학습을 동기화하여 시간 패턴 처리 능력을 강화하는 것을 목표로 한다.
• 딥 SNN에서 가중치와 함께 시냅스 지연을 학습하는 미분 가능 방법을 제안한다.
• 1D 시간적 합성곱과 연결 지연 간의 등가성을 보여주고 DCLS를 사용해 지연을 학습한다.
• LIF 내부 순환 없이도 SHD, SSC, GSC-35에서 더 적은 매개변수로 우수한 정확도를 입증한다.

제안 방법

• 각 시냅스 지연을 커널에 단 하나의 0이 아닌 원소를 포함하는 1D 시간적 합성곱으로 형식화한다.
• 가우시안 보간이 적용된 DCLS 커널을 사용해 지연 위치를 학습하고 학습 중 가우시안 너비(sigma)를 점진적으로 축소한다.
• 학습 가능한 위치 d_ij와 공유 sigma로 지연을 표현하여 지연 매개변수를 통해 역전파를 가능하게 한다.
• 학습된 연속 커널을 추론을 위한 이산 지연으로 변환하여 희소하고 하드웨어 친화적인 연결을 가능하게 한다.
• 대체-손실 경사를 이용한 Leaky Integrate-and-Fire 뉴런 및 오프라인 전방 구조로 학습을 수행한다.
• 다양한 네트워크 깊이와 매개변수 수에 대해 SHD, SSC, GSC-35에서 최첨단 방법과 비교한다.

Figure 1: Coincidence detection: we consider two neurons $N_{1}$ and $N_{2}$ with the same positive synaptic weight values. $N_{2}$ has a delayed synaptic connection denoted $d_{21}$ of $8$ ms, thus both spikes from spike train $S_{1}$ and $S_{2}$ will reach $N_{2}$ quasi-simultaneously. As a result

실험 결과

연구 질문

• RQ1 깊은 전방 SNN에서 지연을 시냅스 가중치와 함께 역전파를 사용해 학습할 수 있는가?
• RQ2 학습된 지연이 시간 스파이크 패턴 벤치마크에서 고정되거나 무작위 지연에 비해 현저한 정확도 이점을 제공하는가?
• RQ3 DCLS-지연 접근법이 밀집 지연 표현과 성능 및 매개변수 효율성 면에서 어떻게 비교되는가?
• RQ4 학습 과정에서 가우시안 커널(sigma)을 점차 조여가며 지연과 전체 정확도에 어떤 영향을 주는가?

주요 결과

• DCLS-지연은 2–3개의 은닉층에서 SHD에서 최대 95.07%, SSC에서 79.77–80.69%, GSC-35에서 94.91–95.35%의 성능을 달성한다.
• 학습된 지연은 고정/무작위 지연보다 더 높은 성능을 보이며, 특히 희소 연결 구간에서 더 큰 이점을 보인다.
• 학습 가능한 간격을 가진 Dense Convolution Delays는 표준 Dense Delays보다 높은 정확도를 달성하고 더 적은 매개변수를 사용한다.
• 이 방법은 LIF 내부 순환을 넘지 않는 한 SHD, SSC, GSC-35에서 최첨단 성능을 달성한다.
• 공학적 분석에서 가중치와 지연을 함께 학습하고 sigma를 감소시키면 상시 sigma나 고정 지연보다 성능이 향상된다.

Figure 2: Example of one neuron with 2 afferent synaptic connections, convolving $K1$ and $K2$ with the zero left-padded $S_{1}$ and $S_{2}$ is equivalent to following Equation 6